Was kann Eye Tracking über kognitive Prozesse verraten?

Jeden Tag bewegen sich Menschen in komplexen visuellen Umgebungen, in denen ihre Netzhäute mit einer immensen Menge visueller Reize bombardiert werden. Dennoch kann der Mensch bei diesem hochdynamischen Prozess auswählen, welche Reize er wahrnimmt und welche er ignoriert.

Der Mensch erreicht diese selektive Wahrnehmung, indem er seinen Blick auf einen bestimmten Bereich der visuellen Szene richtet. Augenbewegungen geben nicht nur Aufschluss über die visuellen Informationen, die von Augenblick zu Augenblick selektiv aufgenommen werden, sondern sind auch eng mit kognitiven Prozessen wie Gedächtnis, Entscheidungsfindung und assoziativem Lernen verbunden. Zu verstehen, worauf der Mensch schaut und wie dies Kognition und Verhalten beeinflusst, ist eine der grundlegendsten Fragen in der Psychologie und den Neurowissenschaften, so dass Eye Tracking eine äußerst geeignete Technologie ist, um diese zu beantworten.

In diesem Lernartikel stellen wir vor, wie die Eye Tracking-Technologie zur Untersuchung kognitiver Prozesse eingesetzt wurde und welche Erkenntnisse diese Studien erbracht haben. Wir werden über Gedächtnis, Entscheidungsfindung und Problemlösung sprechen.

Warum sollte die Eye Tracking-Technologie zur Untersuchung kognitiver Prozesse eingesetzt werden?

Eye Tracking gewährt kontinuierlichen Zugang zu kognitiven Prozessen

Kognitive Prozesse sind miteinander verbunden und vielschichtig, da jeder Prozess im Laufe der Zeit verschiedene Phasen durchläuft. Betrachten wir zum Beispiel die Abfolge der kognitiven Prozesse, die bei der Entscheidungsfindung ablaufen: Erkundung der Szene, Erkennung des Ziels, Überlegung und Entscheidung über die Reaktion. Wenn wir uns bei einer solchen Aufgabe auf eine offenkundige Verhaltensreaktion (z. B. Tastendruck, geschriebener Text oder Lautäußerung) verlassen, werden die Prozesse, die zur Entscheidung geführt haben, nicht erfasst. Eye Tracking-Daten können die verhaltensbezogenen Endprodukte der kognitiven Prozesse (z. B. Entscheidungen) liefern und die verschiedenen Ebenen zusammenhängender Prozesse, die während eines Experiments auftreten, isolieren.

Augenbewegungen geben Einblicke in die Gehirnfunktion

Die Schaltkreise im Gehirn, die die Erzeugung von Augenbewegungen unterstützen, wurden in den letzten Jahrzehnten untersucht und haben zu einem tiefgreifenden Verständnis der Beziehungen zwischen Kognition, Augenbewegungen und Gehirnphysiologie geführt (Hannula et al., 2010; Knudsen, 2018). Das umfangreiche Wissen über die okulomotorischen Schaltkreise macht Eye Tracking zu einer ausgezeichneten Methode, um ein breites Spektrum kognitiver Prozesse in gesunden und pathologischen Gehirnzuständen während des gesamten Lebens einer Person zu untersuchen.

Eye Tracking ist mit anderen biometrischen Messungen kompatibel

Augenbewegungsmessungen können mit Messungen der Hirnaktivität und Biosensoren (z. B. Elektroenzephalographie (EEG), Elektrokardiographie (EKG), intrakranielles EEG (iEEG), galvanische Hautreaktion (GSR)) kombiniert werden, was tiefgreifende Einblicke in das Zusammenspiel von Augenbewegungen, kortikaler Aktivität und anderen physiologischen Variablen ermöglicht, die zu verschiedenen Verhaltensweisen beitragen.

Eye Tracking ermöglicht artenübergreifende Vergleiche und fördert translationale Studien

Eye Tracking und ähnliche oder sogar identische Verhaltenstests können an verschiedenen Spezies durchgeführt werden, was einen Vergleich zwischen den Spezies ermöglicht und kausale Beziehungen zwischen Verhalten und Gehirnphysiologie aufdeckt. Bislang wurden Augenbewegungsmessungen an nicht-menschlichen Primaten (A. M. Ryan et al., 2019), Hunden (Karl et al., 2020), Mäusen (van Beest et al., 2021), Ratten (Wallace et al., 2013), Tauben (Kano et al., 2018) und Zebrafischen (Dehmelt et al., 2018) durchgeführt.

Speicher

Die Augenbewegungen in der visuellen Umgebung werden von einigen Schlüsselfaktoren gesteuert: physikalische Merkmale eines Reizes (z. B. Farbe und Leuchtdichte), unser innerer Zustand und unser Vorwissen in Bezug auf visuelle Reize (z. B. episodische oder semantische Erinnerungen). Wir schauen auf Objekte, die das Ziel unserer freiwilligen Suche sind, aber wir verweilen auch bei Objekten, die neu sind oder unserem Wissen und unseren Erwartungen widersprechen. Studien zum Eye Tracking haben gezeigt, dass beim Scannen einer visuellen Szene mehrere unterschiedliche Gedächtnisrepräsentationen abgerufen werden können, die um die bevorzugte okulomotorische Steuerung konkurrieren (Wynn, Ryan und Moscovitch, 2020). Anatomische und funktionelle Verbindungen zwischen den okulomotorischen und den Gedächtnissystemen (z. B. Hippocampus, frontale Augenfelder, dorsolateraler präfrontaler Kortex) (Shen et al., 2016) unterstützen die Bedeutung der Augenbewegungen für die Gedächtnisprozesse zusätzlich. Wie wir noch zeigen werden, sind Augenbewegungen funktionell relevant für die Enkodierung und den Abruf von Erinnerungen.

Während der Enkodierungsphase sagt das freie Betrachtungsverhalten die Qualität einer späteren Erinnerung voraus (Bylinskii et al., 2015; Damiano und Walther, 2019). Zum Beispiel ist das beiläufige Gedächtnis besser für ein Objekt, das länger und mit mehreren Fixationen betrachtet wird, im Vergleich zu einem Objekt in derselben Szene, das kurz und mit weniger Fixationen betrachtet wird (Bylinskii et al., 2015; Olejarczyk et al., 2014). Augenbewegungen versorgen das Gedächtnis mit visuellem Input und organisieren den visuellen Input in Zeit und Raum und fungieren als Gedächtnisbindungsmechanismus (Nikolaev et al., 2022; J. D. Ryan & Shen, 2020). Wenn visuelle Informationen abgerufen werden, wird eine Scanpfadsequenz zusammen mit dem visuellen Input gespeichert, um den Abruf des Gedächtnisses durch den Vergleich des neuen Inputs mit den gespeicherten Gedächtnisspuren zu erleichtern (Johansson et al., 2022; Wynn et al., 2019).

Während des Abrufs visueller Informationen neigen Menschen dazu, auf zuvor assoziierte, aber leere Orte zu schauen, der sogenannte "Blick ins Nichts"-Effekt. Die Fixierung des Blicks auf das Nichts (d. h. leere Stellen) spiegelt die Verlagerung der Aufmerksamkeit von der Außen- auf die Innenorientierung wider, um die gespeicherten Gedächtnisrepräsentationen abzurufen (Scholz et al., 2018). Beim "Blick ins Leere" werden zuvor kodierte Blickmuster eines visuellen Stimulus beim Abrufen gespeicherter Erinnerungen erneut rekapituliert, was als Blick-Reinstatement bezeichnet wird. Die Qualität des abgerufenen Gedächtnisses wird durch den Grad der Ähnlichkeit des Blick-Scanpfades während der Gedächtniskodierung und des Abrufs vorhergesagt - je mehr sich die Scanpfade der Kodierung und des Abrufs überschneiden, desto besser ist die Qualität des abgerufenen Gedächtnisses (Johansson et al., 2022).

Entscheidungsfindung

Augenbewegungen bieten ein breites Spektrum an Einblicken in Entscheidungsprozesse mit einer feinen zeitlichen Auflösung, wie diese Prozesse ablaufen. Messungen der Augenbewegungen können Aufschluss darüber geben, wie lange es dauert, bis eine Entscheidung getroffen wird, welchen Einfluss die erwartete Belohnung auf die Entscheidung hat oder wie groß das Selbstvertrauen in das Ergebnis der Entscheidung ist (Spering, 2022). Einige spezifische räumlich-zeitliche Merkmale des Blickverhaltens können Aufschluss über den Entscheidungsprozess in allen verschiedenen Phasen geben - vor, während und unmittelbar nach der Entscheidung.

Bevor eine Entscheidung getroffen wird, erleichtern Augenbewegungen die Aufnahme von sensorischen Informationen aus der visuellen Umgebung - der Prozess, der bestimmt, welche Informationen zugänglich sind oder sogar das Arbeitsgedächtnis dominieren, wenn der Entscheidungsprozess beginnt. Das Blickverhalten spiegelt die Reihenfolge wider, in der sensorische Informationen gesammelt werden und wie entscheidungsrelevante Erkenntnisse gewichtet und mit dem Vorwissen assimiliert werden (Gottlieb und Oudeyer, 2018; Spering, 2022).

Einige spezifische Augenbewegungsindizes sagen das Timing und die Genauigkeit der Entscheidung während des Entscheidungsprozesses voraus. Sakkadenmetriken (z. B. Spitzengeschwindigkeit, Amplitude, Stärke und Endpunktstreuung) können wertvolle Informationen über das Timing von Wahrnehmungsentscheidungen liefern (Spering, 2022). Die Fixierung der Augen auf ein sich bewegendes Ziel - Smooth Pursuit - kann den Entscheidungsfindungsprozess anzeigen und sogar dessen Ergebnis vorhersagen. In Baseball- oder Go/No-Go-Paradigmen zur sensomotorischen Entscheidungsfindung (Fooken und Spering, 2019) korreliert eine hohe Smooth-Pursuit-Geschwindigkeit mit einer schnellen Entscheidungsfindung. Der Endpunkt der Entscheidung kann aus einer antwortbezogenen Unterdrückung von Sakkaden und Mikrosakkaden, dem sogenannten okulomotorischen Einfrieren, abgeleitet werden, das die Antwortvorbereitung anzeigt und einen Marker für eine zeitliche Erwartung der Entscheidung liefert (Abeles et al., 2020).

Bei der Entscheidungsfindung können Augenbewegungen das subjektive Gefühl des Vertrauens anzeigen.So spiegelt beispielsweise die Sakkaden-Spitzengeschwindigkeit den Grad der Sicherheit wider, mit dem eine Entscheidung getroffen wird, und es hat sich gezeigt, dass sie mit zunehmender Evidenz (d. h. mit zunehmender Sicherheit) zunimmt (Seideman et al., 2018).Darüber hinaus sind Sakkaden, Verfolgungsmetriken, Blinzeln und Pupillenerweiterung eng mit der Dopaminaktivität verbunden und somit an der Belohnungsverarbeitung beteiligt (Hikosaka et al., 2014). So spiegelt beispielsweise eine Zunahme der Geschwindigkeit der sakkadischen Augenbewegungen die Erwartung einer Belohnung wider, während die Erwartung einer Anstrengung diese verringert (Shadmehr et al., 2019).

Problemlösungsfähigkeit und Kreativität

Beim Problemlösen geht es darum, mentale Modelle zu konstruieren, die relevante Informationen abbilden, und die geeignetste Lösung für ein Problem zu finden. Es handelt sich dabei um einen vielschichtigen kognitiven Prozess, der mehrere gleichzeitig arbeitende kognitive Funktionen erfordert, z. B. Aufmerksamkeit, Gedächtnis und Kreativität (d. h. divergentes Denken).

Augenbewegungen können Aufschluss darüber geben, welche kognitiven Repräsentationen aktiv sind und wie sie bei der Problemlösung im Kopf manipuliert werden. Beim Lösen von Problemen oder beim kreativen Denken neigen Menschen dazu, ihren Blick von einem relevanten Stimulus abzuwenden und sich auf eine leere Fläche zu konzentrieren. Die Zeit, die damit verbracht wird, von einem Stimulus wegzuschauen, nimmt mit der Schwierigkeit eines Problems zu, da die Aufmerksamkeit dazu neigt, sich nach innen zu verlagern, und das Phänomen des Blicks auf das Nichts beobachtet wird (Ferreira et al., 2008). Beim Betrachten leerer Flächen spiegeln die Augenbewegungsmuster die mentalen Bilder wider, die zur internen Problemlösung verwendet werden (Spivey und Geng, 2001). Selbst bei einfachen Denkaufgaben, wie der Unterscheidung zwischen links und rechts oder oben und unten, bewegen Menschen ihre Augen in die entsprechenden Richtungen (Demarais und Cohen, 1998).Es ist zu beachten, dass dieselben Phänomene des Hinschauens auf nichts und die damit verbundenen Augenbewegungen je nach Aufgabe auf unterschiedliche kognitive Prozesse (Gedächtnisabruf, Problemlösung oder kreatives Denken) schließen lassen können.

Erfolgreiches Problemlösen lässt sich allein an den Augenbewegungen erkennen. Knoblich und Kollegen (Knoblich et al., 2001) wiesen nach, dass die Fixation auf das für die Lösung des Problems relevante Objekt mit der Zeit zunimmt, insbesondere unmittelbar vor Erreichen der Lösung. Die Studie demonstrierte den einzigartigen Nutzen des Eye Tracking während einer Problemlösungsaufgabe, bei der man sich zuvor auf herkömmliche Leistungsmessungen wie Lösungszeit und -rate, gemessen durch Tastendruck oder Mausverfolgung, verlassen hatte (Knoblich et al., 2001).

Schlussfolgerung

Augenbewegungen sind eng mit kognitiven Prozessen, wie Gedächtnis, Entscheidungsfindung und Problemlösung, verbunden. Wie in diesem Lernartikel dargestellt, kann die Eye Tracking-Technologie dazu beitragen, zu verstehen, worauf Menschen schauen und wie dies ihre Wahrnehmung und ihr Verhalten beeinflusst.

Wenn Sie daran interessiert sind, mehr darüber zu erfahren, wie Augenbewegungsmessungen Einblicke in kognitive Funktionen geben können und welche Paradigmen üblicherweise zur Untersuchung dieser Funktionen verwendet werden, lesen Sie unser White Paper
" Eye Tracking - ein Fenster zu kognitiven Prozessen ".

Zitierte Veröffentlichungen

Abeles, D., Amit, R., Tal-Perry, N., Carrasco, M., & Yuval-Greenberg, S. (2020). Okulomotorische Hemmung geht zeitlich erwarteten auditorischen Zielen voraus . Nature Communications , 11 (1), Artikel 1.

Bekkering, H., Adam, J. J., Kingma, H., Huson, A., & Whiting, H. T. A. (1994). Reaktionszeitlatenzen von Augen- und Handbewegungen unter Single- und Dual-Task-Bedingungen . Experimental Brain Research , 97 (3), 471-476.

Bylinskii, Z., Isola, P., Bainbridge, C., Torralba, A., & Oliva, A. (2015). Intrinsische und extrinsische Effekte auf die Einprägsamkeit von Bildern . Vision Research , 116 , 165-178.

Damiano, C., & Walther, D. B. (2019). Distinct roles of eye movements during memory encoding and retrieval . Cognition , 184 , 119-129.

Dehmelt, F. A., von Daranyi, A., Leyden, C., & Arrenberg, A. B. (2018). Evoking and tracking zebrafish eye movement in multiple larvae with ZebEyeTrack . Nature Protocols , 13 (7), Artikel 7.

Demarais, A. M., & Cohen, B. H. (1998). Evidence for image-scanning eye movements during transitive inference . Biological Psychology , 49 , 229-247.

Ferreira, F., Apel, J., & Henderson, J. M. (2008).
Taking a new look at looking at nothing . Trends in den Kognitionswissenschaften , 12 (11), 405-410.

Fooken, J., & Spering, M. (2019). Decoding go/no-go decisions from eye movements . Journal of Vision , 19 (2), 5.

Gellman, R. S., Carl, J. R., & Miles, F. A. (1990). Kurze Latenzzeit für Augenfolgereaktionen beim Menschen . Visual Neuroscience , 5 (2), 107-122.

Gottlieb, J., & Oudeyer, P.-Y. (2018). Towards a neuroscience of active sampling and curiosity . Nature Reviews Neuroscience , 19 (12), Artikel 12.

Hannula, D., Althoff, R., Warren, D., Riggs, L., Cohen, N., & Ryan, J. (2010). Einen Blick wert: Eye Movements to Investigate the Cognitive Neuroscience of Memory . Frontiers in Human Neuroscience , 4 .

Hikosaka, O., Kim, H. F., Yasuda, M., & Yamamoto, S. (2014). Basalganglien-Schaltkreise für belohnungswertgesteuertes Verhalten . Annual Review of Neuroscience , 37 , 289-306.

Johansson, R., Nyström, M., Dewhurst, R., & Johansson, M. (2022). Augenbewegungswiedergabe unterstützt episodisches Erinnern . Proceedings of the Royal Society B: Biological Sciences , 289 (1977), 20220964.

Kano, F., Walker, J., Sasaki, T., & Biro, D. (2018). Head-mounted sensors reveal visual attention of free-flying homing pigeons . Journal of Experimental Biology , 221 (17), jeb183475.

Karl, S., Boch, M., Zamansky, A., van der Linden, D., Wagner, I. C., Völter, C. J., Lamm, C., & Huber, L. (2020). Erforschung der Hund-Mensch-Beziehung durch Kombination von fMRI, Eye Tracking und Verhaltensmessungen . Wissenschaftliche Berichte , 10 (1), Artikel 1.

Knoblich, G., Ohlsson, S., & Raney, G. E. (2001). Eine Augenbewegungsstudie über das Lösen von Einsichtsproblemen . Memory & Cognition , 29 , 1000-1009.

Knudsen, E. I. (2018). Neural Circuits That Mediate Selective Attention: A Comparative Perspective . Trends in Neurosciences , 41 (11), 789-805.

Nikolaev, A. R., Bramão, I., Johansson, R., & Johansson, M. (2022). Episodische Gedächtnisbildung bei naturalistischer Betrachtung [Preprint]. Neuroscience.

Olejarczyk, J. H., Luke, S. G., & Henderson, J. M. (2014). Incidental memory for parts of scenes from eye movements . Visual Cognition , 22 (7), 975-995.

Ryan, A. M., Freeman, S. M., Murai, T., Lau, A. R., Palumbo, M. C., Hogrefe, C. E., Bales, K. L., & Bauman, M. D. (2019). Nicht-invasive Eye Tracking-Methoden für Neuwelt- und Altweltäffchen . Frontiers in Behavioral Neuroscience , 13 .

Ryan, J. D., & Shen, K. (2020). Die Augen sind ein Fenster zum Gedächtnis . Current Opinion in Behavioral Sciences , 32 , 1-6.

Scholz, A., Klichowicz, A., & Krems, J. F. (2018). Verdeckte Aufmerksamkeitsverschiebungen können die funktionale Rolle von "Augenbewegungen ins Nichts " erklären . Memory & Cognition , 46 (2), 230-243.

Seideman, J. A., Stanford, T. R., & Salinas, E. (2018). Sakkadenmetriken spiegeln die Entscheidungsdynamik bei dringenden Entscheidungen wider . Nature Communications , 9 , 2907.

Shadmehr, R., Reppert, T. R., Summerside, E. M., Yoon, T., & Ahmed, A. A. (2019). Movement Vigor as a Reflection of Subjective Economic Utility . Trends in Neurosciences , 42 (5), 323-336.

Shen, K., Bezgin, G., Selvam, R., McIntosh, A. R., & Ryan, J. D. (2016). Eine anatomische Schnittstelle zwischen dem Gedächtnis und dem okulomotorischen System . Journal of Cognitive Neuroscience , 28 (11), 1772-1783.

Spering, M. (2022). Augenbewegungen als ein Fenster zur Entscheidungsfindung . Annual Review of Vision Science .

Spivey, M. J., & Geng, J. J. (2001). Okulomotorische Mechanismen, die durch Vorstellungsbilder und Gedächtnis aktiviert werden: Augenbewegungen zu abwesenden Objekten . Psychological Research , 65 (4), 235-241.

van Beest, E. H., Mukherjee, S., Kirchberger, L., Schnabel, U. H., van der Togt, C., Teeuwen, R. R. M., Barsegyan, A., Meyer, A. F., Poort, J., Roelfsema, P. R., & Self, M. W. (2021). Der visuelle Kortex der Maus enthält eine Region mit erhöhter räumlicher Auflösung . Nature Communications , 12 (1), Artikel 1.

Wallace, D. J., Greenberg, D. S., Sawinski, J., Rulla, S., Notaro, G., & Kerr, J. N. D. (2013). Ratten behalten ein binokulares Überkopf-Feld auf Kosten einer konstanten Fusion bei . Nature , 498 (7452), Artikel 7452.

Wynn, J. S., Ryan, J. D., & Moscovitch, M. (2020). Auswirkungen von Vorwissen auf aktives Sehen und Gedächtnis bei jüngeren und älteren Erwachsenen . Journal of Experimental Psychology: General , 149 , 518-529.

Wynn, J. S., Shen, K., & Ryan, J. D. (2019). Eye Movements Actively Reinstate Spatiotemporal Mnemonic Content . Vision , 3 (2), Article 2.