Honda Research Institute JP

Menu

Research Topics / 研究トピック

Back to List

カメラとウェアラブルセンサーからの情報により、人間の「理解度」を推定する

人の理解度推定

私たちは何かを説明するとき、相手の理解度によって話す内容を判断しています。このような相手の「理解度」推定を知能システムが行なえるとしたら、どのようなプロセスにより実現可能なのでしょうか?

人の理解度推定

Index

Share

相手が理解しているかを察する能力は、コミュニケーションにおいて非常に重要

本プロジェクトは、人間の「理解度」を推定することを目的としています。AIが何かを説明するとき、聞いている人はちゃんと内容を理解しているでしょうか。もし理解できていないようなら、より易しく説明したほうが良いかもしれません。これは、人間同士のコミュニケーションであれば、自然に行われていることです。

理解度のような人間の認知状態を調べる方法として、一般的なのは脳波やfMRIなど、脳科学的なアプローチです。しかしこれらの方法はかなり大がかりな装置が必要になるため、実際の社会生活のなかで、ロボットやモビリティーに適用する方法としては、あまり現実的とはいえません。

私たち研究グループは実用的な手法として、カメラとウェアラブルセンサーに注目しました。カメラからは、まず顔の表情がわかります。さらに画像処理でわずかな色の変動を検出することで、心拍数まで推定できることが明らかになっています(rPPG)。またサーマルカメラを使えば、顔の温度分布まで見ることができます。

一方、ウェアラブルセンサーからは、血流量、心拍数、皮膚電位、発汗量など、さまざまな生理学的データを取得できます。将来的には、自動車のハンドルをウェアラブルセンサー化するようなことも可能でしょう。

実験による判定では、8割程度の高い正答率に

研究グループは、数十名の被験者にクイズを解いてもらう実験を行いました。画面に問題を表示して、わかったらボタンを押す。理解した瞬間、つまりボタンを押した瞬間の前後で、何か変化はないか調べたのです。

 

分析の結果、クイズを解けた場合には、心拍数が上昇する傾向にあることがわかりました。これを機械学習でモデル化し、心拍数データから被験者が解けたか解けなかったか判定させたところ、8割程度の高い正答率が得られました。

機械の正答率が人間と比べるとどうなのかを確かめるために、人間に被験者の表情を見てもらい、同じように「解けた / 解けなかった」の判定を行ってもらったところ、正答率は平均で5割程度でした。シンプルな実験ではありますが、人間以上の精度を出せる可能性が見えたといえるでしょう。

この実験では、表情の分析も行ったのですが、ボタンを押した前後で、明確な変化は見られませんでした。これはおそらく、人間は機械相手だと感情が表に出にくいためと考えられます。人間同士のコミュニケーションであれば、表情から理解度を検出できるようになる可能性もあるでしょう。

ビジネスや教育、さまざまな分野での応用に期待

研究グループが開発した理解度推定システムの技術は、将来的に、さまざまな用途への応用が考えられます。たとえば仕事でプレゼンテーションをするとき、聞いている人が理解できているかどうかは重要な情報です。理解度をモニターし、それに応じて表現を変えたりすれば、成功する確率を上げることができます。

またコロナ禍により、学校では遠隔授業も行われるようになりましたが、生徒が内容を理解できているのかどうか、画面越しではどうしてもわかりにくいという難しさがありました。このシステムで理解度を推定できれば、授業内容の改善につなげられる可能性があります。

ロボットやモビリティーでは、UIの開発などにも活用できるかもしれません。機械側からの提示に対する理解度を数値化できれば、UIをよりわかりやすいものに改善しやすいでしょう。

クイズの実験が瞬間的な刺激であったのに対し、これらの応用シーンは基本的に連続的な反応になります。また人間同士の場合、その関係性などによって反応が異なるという複雑な面もあります。理解度の推定には、まだまだ解決すべき課題がたくさんあり、いくつもの新しいイノベーションが必要になるでしょう。

しかしコミュニケーションにおいて、相手が理解したかどうか把握するということは、関係を一方的なものではなく、双方向的なものにするためにも欠かせません。もしこれができるようになれば、AIはもっと人によりそえる存在になれるはずです。

 

Voice

ホンダの風土かもしれませんが、自社だけでなく、HRI-EU、HRI-US、本田技術研究所などのさまざまなバックグラウンドを持った専門家との横のつながりがあり、自分の研究領域・ネットワーク・視野の幅を広げてくれます。さまざまな人と連携して、基礎研究だけでなく応用側からのニーズベースの研究もでき、実証にも取り組める環境に魅力を感じています。