本研究室で進めている研究の一例を紹介します。
「対話者の視線行動を対象とした相互作用機能スペクトラムの分析」
【研究概要】
対話者の視線行動は、他者の様子を観察したり対話の流れを調整したりするなど、対話において重要な機能を担っています。このような視線行動の重要性を鑑みて、本研究室では43種の「視線機能」を定義し、分析・認識する研究に取り組んできました。その一環として、対話中の話し手と聞き手の間に生じる視線機能を介した相互作用を明らかにするため、視線相互作用機能スペクトラム分析法(GI-FSA)を提案しました。GI-FSAでは、視線機能の本質的な性質である「機能の多重性」や「解釈の曖昧性」を捉えるため、「機能スペクトラム」という新しい表現法を導入しました。機能スペクトラムとは、視線がもつ複数の機能それぞれの知覚強度を表すベクトルであり、複数人の評定の結果、各機能についてその現出を認めた評定者の割合として算出されます。GI-FSAでは、話し手と聞き手の両者の機能スペクトラムから、両者間の視線を介した相互作用により現れる機能を解明するため、両者の機能スペクトラムの結合ベクトルを時間方向に並べた行列に対して、スペクトラム分解を行います。このスペクトラム分解の方法として、我々は、準直交非負値行列分解による方法を考案しました。この行列分解では、入力された機能スペクトラムの行列を、基底行列と係数行列の積に分解します。得られた基底行列は、対話中に頻出する顕著かつ独立性の高い視線相互作用の機能群を表し、係数行列からは、それらの機能群が時間軸上でどのように変化するのかを表します。このスペクトラム分解により、元となる話し手・聞き手の機能スペクトラムを、より低次元の空間上へ射影して表現することができます。本研究では、この射影のことを「相互作用機能スペクトラム」と名付けました。さらに本研究室では、この相互作用機能スペクトラムを観測可能な対話者の非言語行動から自動認識するため、畳み込みニューラルネットを提案しています。以上の提案法について実験の結果、GI-FSAは、対話者の視線相互作用を分析・理解するための有望な研究枠組みであることが示唆されています。
【書誌情報】
ICMI
Ayane Tashiro, Mai Imamura, Shiro Kumano, and Kazuhiro Otsuka, “Exploring Interlocutor Gaze Interactions in Conversations based on Functional Spectrum Analysis”, 26th ACM International Conference on Multimodal Interaction (ICMI2024), pp.86-94, 2024年11月発表
発表論文URL：https://doi.org/10.1145/3678957.3685708
電子情報通信学会HCGシンポジウム
田代絢子, 田嶋桃佳, 熊野史朗, 大塚和弘, 「対話者の視線行動を対象とした相互作用機能スペクトラムの分析」, 電子情報通信学会HCGシンポジウム2024, 2024年12月12日発表,
優秀インタラクティブ発表賞受賞
発表プログラムURL：
「対話者の頭部運動機能と顔表情機能に基づく主観的印象の予測」
【研究概要】
グループ対話は意思決定や問題解決など様々な場面で行われており、対話者の満足度や集中度などの主観的な印象は、その対話の質に関わります。対話者の主観的印象を把握することで、対話を進行する役割であるファシリテータへの適切な支援や、対話後のフィードバックにより、対話の質の向上に繋げられると考えられます。このような主観的印象を予測するため、対話中に表出される頭部運動や顔表情といった非言語行動を手掛かりとし、非言語行動のコミュニケーション上の機能に関する特徴量を用いた対話者の主観的印象予測モデルを提案しました。この予測モデルでは、畳み込みニューラルネットワーク(CNN)を用いて対話中の人物の頭部運動機能や顔表情機能を検出し、検出結果を基に出現率や構成比などの機能特徴量を定義します。さらに、逐次特徴選択法を用いて特徴量の最適な組み合わせを特定し、ランダムフォレスト回帰を用いて主観的印象予測を行います。予測の対象として、各グループ女性4名で構成される17グループの対話について、対話の楽しさや難しさなど16の印象項目ついて、各対話者が対話後に9段階で回答した内観報告スコアを用います。実験の結果、提案法を用いた予測値は印象項目の70%以上で内観報告スコアとの有意な相関があることが確認され、主観印象予測に対する複数の非言語機能特徴が有効であることが示唆されました。
【書誌情報】
IEEE access
Koya Ito, Yoko Ishii, Ryo Ishii, Shin-ichiro Eitoku and Kazuhiro Otsuka, “Exploring Multimodal Nonverbal Functional Features for Predicting the Subjective Impressions of Interlocutors,” IEEE Access, Vol.12, pp. 96769-96782, 2024.
「対話中の頭部運動機能を認識する特徴膨張収縮ニューラルネットワーク」
【研究概要】
対話中の人の頭部運動は、話を聞いている合図としての「相槌」や、相手の意見に対して「肯定を示す」ように様々な機能を持っています。対話者の頭部姿勢角時系列を用いてこの機能を認識する畳み込みニューラルネットワーク（CNN）が提案されていますが、認識には性能向上の余地が残されていました。そこで、このCNNの性能向上を目的に、時系列の特徴学習を促進する機構として特徴膨張収縮機構（I/DeF機構）を提案しました。I/DeF機構は入力されるデータに対して、膨張処理と収縮処理を繰り返し行います。膨張処理では転置畳み込みにより時間軸方向にデータを拡大します。収縮処理では畳み込みによりデータを圧縮します。実験の結果、I/DeF機構を統合したCNNは従来のCNNに対して、性能向上を達成しました。
【書誌情報】
ICMI
Kazuki Takeda and Kazuhiro Otsuka, “Inflation-Deflation Networks for Recognizing Head-Movement Functions in Face-to-Face Conversations”, 23rd ACM International Conference on Multimodal Interaction (ICMI2021), pp.361-369, 発表
発表論文URL：https://doi.org/10.1145/3462244.3482856
IEICE
武田一輝,大塚和弘,「対話中の頭部運動機能認識のための特徴膨張収縮深層ニューラルネットワーク」, 電子情報通信学会和文論文誌A vol 105.2, pp.26-37, 2022
論文URL：https://doi.org/10.14923/transfunj.2021JAP1016
FIT
武田一輝,大塚和弘,「対話中の頭部運動機能を認識する特徴膨張収縮ニューラルネットワーク」,第20回情報科学技術フォーラム (FIT2021),2021
発表予稿URL：
「頭部運動機能を用いた複数人対話における対話参加者の主観的印象の予測」
【研究概要】
対話中に表出される頭部運動の機能と対話者の主観的印象との関連性を探るため、頭部運動の機能に関する特徴量を用いた対話者の主観的印象の予測モデルを提案しました。本研究では、畳み込みニューラルネットワーク（CNN）を用いて検出された会話中の人物の頭部運動機能を基に、新たに各頭部運動機能の出現率や構成比等の頭部運動機能特徴を定義し、女性4 名、17 グループの対話について、雰囲気の良さ、楽しさ、やる気、集中度の4 項目についての2 分単位、9 段階の内観報告スコアを予測の対象としています。各グループ・項目について、運動学的特徴のみを用いた予測モデルを基準とし、これと頭部運動機能特徴を追加したモデルとを比較した結果、頭部運動機能特徴は、主観的印象の予測性能の向上に寄与することが示唆されました。
【書誌情報】
Shumpei Otsuchi, Yoko Ishii※, Momoko Nakatani※, and Kazuhiro Otsuka, “Prediction of Interlocutor’s Subjective Impressions based on Functional Head-Movement Features in Group Meetings,” In Proc. 23rd ACM International Conference on Multimodal Interaction (ICMI2021), 2021年10月発表
発表論文URL：https://doi.org/10.1145/3462244.3479930
大土隼平, 石井陽子※, 中谷桃子※, 大塚和弘,「頭部運動機能を用いた複数人対話における対話参加者の主観的印象の予測」, 電子情報通信学会 ヒューマンコミュニケーション基礎(HCS&VNV)2021年8月合同研究会, 信学技法HCS2021-20, pp.19-24, 2021年8月21日発表
発表プログラムURL：
※本研究は日本電信電話株式会社様との共同研究により実施されました。