アイトラッキングは、認知プロセスについて何を明らかにすることができるのか？

人は毎日、網膜に膨大な量の視覚刺激を受けながら、複雑な視覚環境をナビゲートしています。しかし、人はこの非常に動的なプロセスの中で、どの刺激に注目し、どの刺激を無視するかを選択することができます。この選択的知覚は、視線を特定の領域に向けることで実現されます。眼球運動は、単にその時々で選択的に採取される視覚情報を明らかにするだけでなく、記憶、意思決定、連想学習などの認知過程と密接に関連しています。人が何を見ているか、それが認知や行動にどのような影響を与えているかを理解することは、心理学や神経科学における最も基本的な問題の一つであり、アイトラッキングはその解決に非常に適した技術であると言えます。

この記事では、認知プロセスの研究にアイトラッキング技術がどのように利用されてきたか、また、これらの研究がどのような知見を生み出してきたかを紹介します。記憶、意思決定、問題解決について取り上げています。

アイトラッキングで研究できる認知プロセスについてもっと知りたい方は、ホワイトペーパー「Eye tracking - a window to cognitive processes」をご覧ください。

なぜ、認知プロセスの研究にアイトラッキング技術を使うのか？

アイトラッキングにより、認知過程を継続的に把握することが可能に

認知プロセスは相互に関連し合い、重層的であり、それぞれが時間の経過とともに異なる操作段階を経ています。例えば、意思決定の際に展開される、場面探索、ターゲット検出、検討、反応決定という一連の認知過程を考えてみましょう。このようなタスクにおいて、キー操作、文字入力、発声といった表出的な行動反応に頼った場合、意思決定に至るプロセスを把握することはできません。アイトラッキングデータは、認知プロセス（例：決定）の行動上の最終成果物を提供し、実験中に発生する関連プロセスの異なるレイヤーを切り分けることができます。

眼球運動がもたらす脳機能への洞察

眼球運動の発生を支える脳回路は過去数十年にわたり研究され、認知、眼球運動、脳生理学の間の関係について深い理解をもたらしてきました（Hannula et al.2010; Knudsen, 2018）。眼球運動回路に関する豊富な知識により、アイトラッキングは、人の一生を通じて、健康な脳の状態だけでなく、病的な脳の状態でも、多様な認知プロセスを探ることができる優れた方法となります。 

アイトラッキングは他の生体計測と互換性がある 

眼球運動計測は、脳活動計測やバイオセンサー（例：脳波、心電図、頭蓋内脳波、ガルバニック皮膚反応）と組み合わせることができ、眼球運動、皮質活動、その他の生理的変数がどのように相互作用して様々な行動に寄与しているかを深く理解することが可能になります。 

アイトラッキングにより、種を超えた比較が可能になり、トランスレーショナル研究が促進される 

アイトラッキングと類似あるいは同一の行動テストを異なる種で実施することで、種間比較が可能となり、行動と脳生理学の因果関係を明らかにすることができます。現在までに、ヒト以外の霊長類（A. M. Ryan et al., 2019）、犬（Karl et al., 2020）、マウス（van Beest et al., 2021）、ラット（Wallace et al., 2013）、ハト（Kano et al., 2018）、ゼブラフィッシュ（Dehmelt et al., 2018）で眼球運動計測が行われています。 

記憶

視覚環境における眼球運動は、刺激の物理的特性（例：色、輝度）、我々の内部状態、視覚刺激に関連する以前の知識（例：エピソード記憶、意味記憶）など、いくつかの重要な要因によって誘導されます。私たちは、自発的な探索対象である対象を見るだけでなく、やや新規性のある対象や、自分の知識や期待とは矛盾する対象にも目を奪われています。アイトラッキング研究からの知見は、視覚的場面走査時に複数の異なる記憶表象が取り出され、優先的な眼球運動誘導をめぐって競合することを示しています（Wynn, Ryan, and Moscovitch, 2020）。眼球運動と記憶システムの間の解剖学的および機能的リンク（例えば、海馬、前頭眼野、背外側前頭前皮質）（Shenら、2016）は、記憶プロセスにおける眼球運動の重要性をさらに支持するものであります。さらに説明するように、眼球運動は記憶の符号化と検索に機能的に関連しています。

符号化段階において、自由視聴行動はその後の記憶の質を予測しています（Bylinskii et al.2015; Damiano and Walther, 2019）。例えば、偶発的な記憶は、短く見られ、注視回数が少ない同じシーン内のオブジェクトと比較して、長く見られ、複数の注視回数のあるオブジェクトの方が優れています（Bylinskii et al., 2015; Olejarczyk et al., 2014）。眼球運動は、視覚入力を記憶に供給し、時間的・空間的に視覚入力を整理し、記憶結合機構として働く（Nikolaev et al.） 視覚情報のサンプリング時に、その視覚入力とともにスキャンパスシーケンスを記憶し、新しい入力と記憶された記憶の痕跡を比較することで記憶の検索を容易にします(Johansson et al., 2022; Wynn et al., 2019)。

視覚情報の検索中、人は以前に関連づけられたが何もない場所を見る傾向があり、いわゆる「無を見る」効果です。何もない場所に視線を向けることは、記憶された記憶表現を取り出すために、外的志向の注意から内的志向の注意への移行を反映しています（Scholz et al.、2018）。何もないところを見ている時、過去に符号化された視覚刺激の視線パターンは、貯蔵された記憶を取り出す際に再現され、視線復唱と呼ばれます。想起された記憶の質は、記憶の符号化と想起の際の視線スキャン経路の類似度によって予測され、符号化と想起のスキャン経路が重なるほど、想起された記憶の質は良くなります（Johansson et al.）

意思決定

眼球運動は、意思決定プロセスがどのように展開されるかについて、細かい時間的解像度で、意思決定プロセスに関する広範な洞察を提供します。眼球運動の測定は、意思決定に到達するまでの時間、期待される報酬が意思決定に与える影響、または意思決定結果に対する自信を示すのに役立つ（Spering、2022）。視線行動のいくつかの特定の時空間特性は、意思決定前、意思決定中、意思決定直後というすべての明確な段階における意思決定プロセスに情報を提供することができます。

意思決定を行う前に、眼球運動は視覚環境からの感覚情報の発生を促進します。これは、意思決定プロセスが開始されたときに、どの情報にアクセスできるか、あるいはワーキングメモリーを支配することになるかを規定するプロセスです。視線行動は、感覚情報が収集される順番や、意思決定に関連する証拠がどのように重み付けされ、事前知識と同化されるかを反映することになります（Gottlieb and Oudeyer, 2018; Spering, 2022)。

いくつかの特定の眼球運動指標は、意思決定のタイミングと意思決定プロセス中の精度を予測します。サッカードの指標（例えば、ピーク速度、振幅、勢い、終点散らばり）は、知覚的決定のタイミングに関する貴重な情報を得ることができます（Spering, 2022）。動く標的への視線固定（スムーズパシュート）は、意思決定の形成過程を示し、その結果を予測することさえできる。野球やgo/no-goの感覚運動意思決定パラダイム（Fooken and Spering, 2019）では、高い滑らかな追跡速度は速い意思決定と相関しています。意思決定の終点は、反応に関連したサッカードとマイクロサッカードの抑制、いわゆる眼球運動凍結から推測することができ、これは反応準備を示し、意思決定の時間的期待のマーカーをもたらします（Abeles et al.、2020年)。 

意思決定を行う際、眼球運動は自信の主観的な感覚を示すことができます。例えば、サッカードのピーク速度は、意思決定の確実性の程度を反映し、それは証拠の蓄積とともに増加する（すなわち、より確実性を得る）ことが示されています（Seideman et al.、2018）。さらに、サッカード、追跡メトリクス、瞬目、瞳孔の拡張は、すべてドーパミン活性と密接に関連しており、したがって、報酬処理に関与しています（Hikosaka et al.） 例えば、サッカード眼球運動の速度の増加は報酬の期待を反映し、一方、努力の予期はそれを減少させています（Shadmehrら、2019)。 ​

問題解決と創造性

問題解決は、関連する情報を描写したメンタルモデルを構築し、問題に対する最も適切な解決策を見出すことです。これは、注意、記憶、創造性（すなわち発散的思考）など、いくつかの認知機能が同時に働くことを必要とする多層的な認知プロセスです。 

 
眼球運動は、問題解決に関わるとき、能動的な認知表象とそれがどのように頭の中で操作されているかを明らかにすることができます。問題解決や創造的な思考をするとき、人は関連する刺激から視線をそらし、空白の空間に集中する傾向があります。問題の難易度が高いほど、注意は内側に移動する傾向があるため、刺激から目をそらす時間は長くなり、何も見ていない現象が観察されます（Ferreira et al.、2008）。 空白を見るときの眼球運動パターンは、内部で問題解決に使われる心象風景を反映しています（Spivey and Geng, 2001）。左右や上下の区別をするような単純な推論活動でも、人はそれぞれの方向に目を動かしています（Demarais and Cohen, 1998）。 同じ「見る・見ない」現象でも、課題によって異なる認知過程（記憶想起、問題解決、創造的思考）を推論することができることに注目しましょう。 

問題解決の成功は、眼球運動のみから識別することができる。Knoblichら（Knoblich et al., 2001）は、問題解決に関連するオブジェクトへの固視が時間と共に増加し、特に解決に到達する直前には増加することを実証しました。この研究は、問題解決タスク中のアイトラッキングのユニークな有用性を実証しました。以前は、解決時間やキープレスやマウストラッキングによって測定される速度といった従来のパフォーマンス指標をあてにしていました(Knoblich et al., 2001)。

まとめ

眼球運動は、記憶、意思決定、問題解決などの認知プロセスと密接に関連しています。この学習記事で紹介したように、アイトラッキング技術は、人間が何を見ているのか、そしてそれが認知や行動にどのような影響を与えるのかを理解することに貢献します。

視線計測がどのように認知機能に対する洞察をもたらすか、また、それらの機能を研究するために一般的に使用されているパラダイムは何か、ご興味があれば、ホワイトペーパー「アイトラッキング - a window to cognitive processes」をご覧ください。

参考文献

Abeles, D., Amit, R., Tal-Perry, N., Carrasco, M., & Yuval-Greenberg, S. (2020). Oculomotor inhibition precedes temporally expected auditory targets. Nature Communications, 11(1), Article 1.

Bekkering, H., Adam, J. J., Kingma, H., Huson, A., & Whiting, H. T. A. (1994). Reaction time latencies of eye and hand movements in single- and dual-task conditions. Experimental Brain Research, 97(3), 471–476.

Bylinskii, Z., Isola, P., Bainbridge, C., Torralba, A., & Oliva, A. (2015). Intrinsic and extrinsic effects on image memorability. Vision Research, 116, 165–178.

Damiano, C., & Walther, D. B. (2019). Distinct roles of eye movements during memory encoding and retrieval. Cognition, 184, 119–129.

Dehmelt, F. A., von Daranyi, A., Leyden, C., & Arrenberg, A. B. (2018). Evoking and tracking zebrafish eye movement in multiple larvae with ZebEyeTrack. Nature Protocols, 13(7), Article 7.

Demarais, A. M., & Cohen, B. H. (1998). Evidence for image-scanning eye movements during transitive inference. Biological Psychology, 49, 229–247.

Ferreira, F., Apel, J., & Henderson, J. M. (2008).
Taking a new look at looking at nothing. Trends in Cognitive Sciences, 12(11), 405–410.

Fooken, J., & Spering, M. (2019). Decoding go/no-go decisions from eye movements. Journal of Vision, 19(2), 5.

Gellman, R. S., Carl, J. R., & Miles, F. A. (1990). Short latency ocular-following responses in man. Visual Neuroscience, 5(2), 107–122.

Gottlieb, J., & Oudeyer, P.-Y. (2018). Towards a neuroscience of active sampling and curiosity. Nature Reviews Neuroscience, 19(12), Article 12.

Hannula, D., Althoff, R., Warren, D., Riggs, L., Cohen, N., & Ryan, J. (2010). Worth a Glance: Using Eye Movements to Investigate the Cognitive Neuroscience of Memory. Frontiers in Human Neuroscience, 4.

Hikosaka, O., Kim, H. F., Yasuda, M., & Yamamoto, S. (2014). Basal ganglia circuits for reward value-guided behavior. Annual Review of Neuroscience, 37, 289–306.

Johansson, R., Nyström, M., Dewhurst, R., & Johansson, M. (2022). Eye-movement replay supports episodic remembering. Proceedings of the Royal Society B: Biological Sciences, 289(1977), 20220964.

Kano, F., Walker, J., Sasaki, T., & Biro, D. (2018). Head-mounted sensors reveal visual attention of free-flying homing pigeons. Journal of Experimental Biology, 221(17), jeb183475.

Karl, S., Boch, M., Zamansky, A., van der Linden, D., Wagner, I. C., Völter, C. J., Lamm, C., & Huber, L. (2020). Exploring the dog–human relationship by combining fMRI, eye-tracking and behavioural measures. Scientific Reports, 10(1), Article 1.

Knoblich, G., Ohlsson, S., & Raney, G. E. (2001). An eye movement study of insight problem solving. Memory & Cognition, 29, 1000–1009.

Knudsen, E. I. (2018). Neural Circuits That Mediate Selective Attention: A Comparative Perspective. Trends in Neurosciences, 41(11), 789–805.

Nikolaev, A. R., Bramão, I., Johansson, R., & Johansson, M. (2022). Episodic memory formation in naturalistic viewing [Preprint]. Neuroscience.

Olejarczyk, J. H., Luke, S. G., & Henderson, J. M. (2014). Incidental memory for parts of scenes from eye movements. Visual Cognition, 22(7), 975–995.

Ryan, A. M., Freeman, S. M., Murai, T., Lau, A. R., Palumbo, M. C., Hogrefe, C. E., Bales, K. L., & Bauman, M. D. (2019). Non-invasive Eye Tracking Methods for New World and Old World Monkeys. Frontiers in Behavioral Neuroscience, 13.

Ryan, J. D., & Shen, K. (2020). The eyes are a window into memory. Current Opinion in Behavioral Sciences, 32, 1–6.

Scholz, A., Klichowicz, A., & Krems, J. F. (2018). Covert shifts of attention can account for the functional role of “eye movements to nothing.” Memory & Cognition, 46(2), 230–243.

Seideman, J. A., Stanford, T. R., & Salinas, E. (2018). Saccade metrics reflect decision-making dynamics during urgent choices. Nature Communications, 9, 2907.

Shadmehr, R., Reppert, T. R., Summerside, E. M., Yoon, T., & Ahmed, A. A. (2019). Movement Vigor as a Reflection of Subjective Economic Utility. Trends in Neurosciences, 42(5), 323–336.

Shen, K., Bezgin, G., Selvam, R., McIntosh, A. R., & Ryan, J. D. (2016). An Anatomical Interface between Memory and Oculomotor Systems. Journal of Cognitive Neuroscience, 28(11), 1772–1783.

Spering, M. (2022). Eye Movements as a Window into Decision-Making. Annual Review of Vision Science.

Spivey, M. J., & Geng, J. J. (2001). Oculomotor mechanisms activated by imagery and memory: Eye movements to absent objects. Psychological Research, 65(4), 235–241.

van Beest, E. H., Mukherjee, S., Kirchberger, L., Schnabel, U. H., van der Togt, C., Teeuwen, R. R. M., Barsegyan, A., Meyer, A. F., Poort, J., Roelfsema, P. R., & Self, M. W. (2021). Mouse visual cortex contains a region of enhanced spatial resolution. Nature Communications, 12(1), Article 1.

Wallace, D. J., Greenberg, D. S., Sawinski, J., Rulla, S., Notaro, G., & Kerr, J. N. D. (2013). Rats maintain an overhead binocular field at the expense of constant fusion. Nature, 498(7452), Article 7452.

Wynn, J. S., Ryan, J. D., & Moscovitch, M. (2020). Effects of prior knowledge on active vision and memory in younger and older adults. Journal of Experimental Psychology: General, 149, 518–529.

Wynn, J. S., Shen, K., & Ryan, J. D. (2019). Eye Movements Actively Reinstate Spatiotemporal Mnemonic Content. Vision, 3(2), Article 2.