本研究室で進めている研究の一例を紹介します。
「対話中の頭部運動機能を認識する特徴膨張収縮ニューラルネットワーク」
【研究紹介概要】
対話中の人の頭部運動は、話を聞いている合図としての「相槌」や、相手の意見に対して「肯定を示す」ように様々な機能を持っています。対話者の頭部姿勢角時系列を用いてこの機能を認識する畳み込みニューラルネットワーク（CNN）が提案されていますが、認識には性能向上の余地が残されていました。そこで、このCNNの性能向上を目的に、時系列の特徴学習を促進する機構として特徴膨張収縮機構（I/DeF機構）を提案しました。I/DeF機構は入力されるデータに対して、膨張処理と収縮処理を繰り返し行います。膨張処理では転置畳み込みにより時間軸方向にデータを拡大します。収縮処理では畳み込みによりデータを圧縮します。実験の結果、I/DeF機構を統合したCNNは従来のCNNに対して、性能向上を達成しました。
【書誌情報】
ICMI
Kazuki Takeda and Kazuhiro Otsuka, “Inflation-Deflation Networks for Recognizing Head-Movement Functions in Face-to-Face Conversations”, 23rd ACM International Conference on Multimodal Interaction (ICMI2021)発表予定
採択論文一覧URL：https://icmi.acm.org/2021/index.php?id=accepted
IEICE
武田一輝,大塚和弘,「対話中の頭部運動機能認識のための特徴膨張収縮深層ニューラルネットワーク」，電子情報通信学会和文論文誌A（2021年8月採録済み,掲載予定）
早期版URL：https://search.ieice.org/bin/summary_advpub.php?id=2021JAP1016&category=A&lang=J&abst=
FIT
武田一輝,大塚和弘,「対話中の頭部運動機能を認識する特徴膨張収縮ニューラルネットワーク」,第20回情報科学技術フォーラム (FIT2021),2021
発表プログラムURL：
https://onsite.gakkai-web.net/fit2021/abstract/data/html/program/j.html
「頭部運動機能を用いた複数人対話における対話参加者の主観的印象の予測」
【研究紹介概要】
対話中に表出される頭部運動の機能と対話者の主観的印象との関連性を探るため、頭部運動の機能に関する特徴量を用いた対話者の主観的印象の予測モデルを提案しました。本研究では、畳み込みニューラルネットワーク（CNN）を用いて検出された会話中の人物の頭部運動機能を基に、新たに各頭部運動機能の出現率や構成比等の頭部運動機能特徴を定義し、女性4 名、17 グループの対話について、雰囲気の良さ、楽しさ、やる気、集中度の4 項目についての2 分単位、9 段階の内観報告スコアを予測の対象としています。各グループ・項目について、運動学的特徴のみを用いた予測モデルを基準とし、これと頭部運動機能特徴を追加したモデルとを比較した結果、頭部運動機能特徴は、主観的印象の予測性能の向上に寄与することが示唆されました。
【書誌情報】
Shumpei Otsuchi, Yoko Ishii※, Momoko Nakatani※, and Kazuhiro Otsuka, “Prediction of Interlocutor’s Subjective Impressions based on Functional Head-Movement Features in Group Meetings,” In Proc. 23rd ACM International Conference on Multimodal Interaction (ICMI2021), 2021年10月発表予定
採択論文一覧URL：https://icmi.acm.org/2021/index.php?id=accepted
大土隼平, 石井陽子※, 中谷桃子※, 大塚和弘,「頭部運動機能を用いた複数人対話における対話参加者の主観的印象の予測」, 電子情報通信学会 ヒューマンコミュニケーション基礎(HCS&VNV)2021年8月合同研究会, 信学技法HCS2021-20, pp.19-24, 2021年8月21日発表
発表プログラムURL：
※本研究は日本電信電話株式会社様との共同研究により実施されました。
[/expander_maker]