自然なヒューマンマシンインタラクションの開発

自然なヒューマンマシンインタラクションの開発にアイトラッキングがどのように活用できるか、Kai Essig教授にインタビューしました。

Kai Essig 教授は、ドイツのカンプリントフォルトにあるラインワール応用科学大学の教授です。アイトラッキング、視覚認識、画像処理、コンピュータービジョン、目と手の協応、ロボット工学といった、人間工学とインタラクティブシステムを研究されています。現在のプロジェクトは、工場や住宅分野において、高性能なAR（拡張現実) 、VRシミュレーター（仮想現実）、実世界での運転支援システムの研究、自然なヒューマンマシンインタラクションなどです。

研究の目的は？

人の注意と行動の研究から得た発見を計算モデルに取り入れ、システムに応用することに取り組んでいます。これにより、自然で直感的なヒューマンマシンインタラクション (HMI) を実現するだけでなく、システムが人の行動を予測して適切なサポートを提供できるようになります。

• AR グラス：組み立て作業における個人の問題を予測し、状況に応じた視聴覚支援によって自分で解決できるようになります。
• 自社開発のVRシミュレーター：オランダのパートナーと共同で開発したVRシミュレーターを物流センターで使用しています。荷積みや荷降ろしをしている運転手のハンドルの動き、速度、トラックの位置、プラットフォームまでの距離、視線などのデータを測定し、機械学習システムに熟練者の標準的な行動を学習させています。

経験の浅いドライバーがシミュレーターを使用する際に、システムが熟練者のパフォーマンスと自動的に比較します。最適なハンドル操作の提案や、荷積みや荷降ろしの時に気を付けるところに注意を向けさせるなど、運転席に設置されたタブレットに個別のフィードバックを送ります。

研究を始めるきっかけとなったもの、モチベーションを維持させているものは？

現代の多様な技術と方法論を活用し、人の心身の状態にあわせて最適な情報を送る、ユーザー中心設計のシステムを作り出すことです。

自然で直感的なHMIに重要なのは、「最適なフィードバックの選択」、「納得感のある決定」、「自然なインタラクション」といったユーザーのニーズに基づいて学際的なアプローチで探求することです。

最終的な目標は人を機械に置き換えることではなく、機械を通して人をサポートし、人と機械を結ぶ技術を実装することです。そのため、倫理的・法的・社会的課題（ELSI）、データ保護、そして開発プロセスにおけるユーザーの早期関与が不可欠な要素です。

これまでの研究で分かったことは？

これからの研究課題は、学際的かつ国際的なアプローチが必要だということです。同じ研究課題に様々な分野が異なる視点から取り組んでも、近い結論に至っています。

アイトラッキングは、幅広い分野で使用できる研究方法として、学際的な研究で重要な役割を担っています。

実験にアイトラッキングを取り入れることで、どのような効果があったか？

アイトラッキングは多くのテーマで活用できています。

• 工場での組立工程における人の知覚行動と目と手の協応を理解することで、モデル化するために重要な情報が取得できます。
• ユーザーの思考プロセスを把握することで、状況に応じて適切に支援することができます。例えば、作業中に迷っている場合、システムが次の作業を実行するための情報を提供し、次のステップに移りやすくします。
• 長期記憶における心的表象と眼球運動を組み合わせた研究もしています。例えば、スポーツ分野で、試合中の視線と動作から、アスリートの思考メカニズムや心的表象を解明し、初心者向けのトレーニングへの活用の可能性を探求しています。
• Webページ、モバイルなど状況が異なる環境における消費者行動での知覚やユーザビリティの評価の研究にも活用しています。

これからアイトラッキングを取り入れる方へのアドバイスは？

アイトラッキングは、心理学、言語学、UX調査、デザイン、コンピューターサイエンスなど、さまざまな分野で汎用性の高い研究手法です。

ハードウェアとソフトウェアの大幅な発展により、技術的な知識がない研究者にとっても簡単に研究できるようになりました。非接触とウェアラブルの両方のアイトラッキングシステムがあることで適用できる分野がますます広がっています。

Webサイトがどのように評価されるかといった従来の調査だけでなく、仕事や生活環境での個人に合わせた支援システム（例：運転支援）など、さまざまな分野の研究者との相乗効果が期待され、さらに踏み込んだ研究ができるでしょう。

今後の目標と現在取り組んでいる研究課題は？

前述のように、最終的な研究目標は、人と機械の自然なユーザーインターフェイスを開発し、個人に合わせた予測的なコミュニケーションを可能にすることです。

五感を使った自然なコミュニケーションを可能にするために、まだ探求すべき多くの課題があります。どのような設計のインターフェイスが最適なのか、システムのフィードバックがユーザーに伝わるにはどう設計したらいいのか、様々なユーザーデータから最適な学習をさせるにはどうしたらいいか、停止や修正を繰り返しながらユーザーにとって最適なシステムにするにはどうしたらいいか。

上記の課題は、国際的および学際的なチームで協力して調査し、ユーザーによる文化の違いなども考慮する必要があります。アイトラッキングは課題解決のために中心的な役割を果たします。研究に使用するだけでなく、応用シナリオや視線映像の自動アノテーション評価技術といったような、社会実装にも尽力したいと考えています。

関連情報

アイトラッキング技術を使用したEssig教授の研究については、こちらをご覧ください。

Ribeiro, P., Krause, A. F., Meesters, P., Kural, K., van Kolfschoten, J., Büchner, M. A.,  & Essig, K. (2021). A VR Truck Docking Simulator Platform for Developing Personalized Driver Assistance. Applied Sciences, 11(19), 8911.

Lex, H., Essig, K., Knoblauch, A., & Schack, T. (2015). Cognitive representations and cognitive processing of team-specific tactics in soccer. PLoS ONE 01/2015; 10(2):e0118219.

Essig, K., Prinzhorn, D., Maycock, J., Dornbusch, D., Ritter, H., & Schack, T. (2012). Automatic Analysis of 3D Gaze Coordinates on Scene Objects Using Data From Eye-Tracking and Motion Capture Systems.  In: Eye Tracking Research & Applications (ETRA 2012), Santa Barbara, California, USA.

For more information on Prof. Dr. Essig, please visit his webpage.