Wie Eye Tracking der KI menschlichen Kontext vermittelt

  • Blog
  • von Tobii
  • 6 min

AI and eye tracking

Künstliche Intelligenz kann Sprache interpretieren, Objekte erkennen, Bilder analysieren und Muster in riesigen Datenmengen identifizieren. Das Verständnis der Welt ist jedoch nur ein Aspekt bei der Entwicklung von KI-Systemen, die gut mit Menschen zusammenarbeiten.

KI benötigt zudem Kontextinformationen über die Person, die im Mittelpunkt dieser Welt steht.

Worauf achten sie?

Was haben sie übersehen?

Welche Informationen sind für sie zu einem bestimmten Zeitpunkt relevant?

Wie verändert sich ihre Aufmerksamkeit, wenn sie mit einer Aufgabe oder einer Umgebung interagieren?

Mithilfe von Eye Tracking lassen sich diese menschlichen Informationen einbeziehen.

Durch die Umwandlung von Augenbewegungen in Blickrichtungen und Aufmerksamkeitskennzahlen Eye Tracking Daten liefern, die KI-Modelle analysieren können, um Muster in der Aufmerksamkeit, im Verhalten und in der kognitiven Verarbeitungsprozessen zu erkennen und so KI-Systemen dabei zu helfen, ein umfassenderes Verständnis dafür zu entwickeln, wie Menschen mit ihrer Umgebung interagieren.

Gemeinsam eröffnen Eye Tracking und KI neue Möglichkeiten für Systeme, die mehr können als nur
ihre Umgebung nur wahrnehmen. Sie können auch die Person in dieser Umgebung berücksichtigen.

Human AI experience

Was bringt Eye Tracking der KI?

KI-Systeme werden zunehmend multimodal. Anstatt sich auf eine einzige Art von Informationen zu stützen, kombinieren sie Eingaben wie Text, Sprache, Bilder, Videos, Audiodaten und Sensordaten, um komplexere Situationen zu verstehen.

Eye Tracking fügt eine weitere Art von Eingabe hinzu: die visuelle Aufmerksamkeit.

Stellen Sie sich eine Brille mit KI-Funktion vor smart glasses. Kameras können dem System dabei helfen, Objekte, Personen und Text im Sichtfeld des Trägers zu erkennen. Ein Mikrofon kann eine gesprochene Frage erfassen. Andere Sensoren können Informationen über Bewegungen und die Umgebung liefern.

Aber stellen Sie sich vor, der Träger fragt:

"Erzähl mir doch mehr darüber?“

Es können mehrere Objekte gleichzeitig sichtbar sein. Zu wissen, wohin der Nutzer blickt, kann ein zusätzliches Hinweis sein, der dem System hilft, zu bestimmen, worauf sich„dies“ bezieht.

Der Wert geht jedoch über einen einzelnen Blickpunkt hinaus.

Augenbewegungen ändern sich, wenn wir nach Informationen suchen, lesen, Aufgaben erledigen, auf Veranstaltungen reagieren oder unsere Aufmerksamkeit verlagern. Mithilfe von Eye Tracking lassen sich diese Muster messen, wodurch Daten entstehen, die die anderen einem KI-System zur Verfügung stehenden Informationen ergänzen können.

Mithilfe von Eye Tracking lassen sich Veränderungen der Pupillengröße messen.

Vom Blick zum Kontext

Beim Eye Tracking werden Signale wie Blickposition, Fixationen, Sakkaden und Blinzeln sowie Veränderungen der Pupillengröße.

Diese Messungen geben uns nicht automatisch Aufschluss darüber, was jemand denkt oder warum er etwas ansieht. Ihre Bedeutung hängt von der Person, der Aufgabe und der Umgebung ab. Dieser Kontext ist wichtig.

Ein Blick auf ein Objekt kann Interesse signalisieren oder Teil einer visuellen Suche sein, und eine Veränderung des Blickverhaltens kann im Zusammenhang mit einer Aufgabe von Bedeutung sein. Es hängt alles von der jeweiligen Situation ab.

Hier kommt die multimodale KI besonders zum Tragen.

Die Sprachverarbeitung kann Aufschluss darüber geben, was jemand sagt. Die Bildverarbeitung kann Aufschluss darüber geben, was sich in der Umgebung befindet. Eye Tracking kann Aufschluss darüber geben, wie die Person die Umgebung visuell wahrnimmt. Andere Sensoren können zusätzliche Informationen über Bewegung, Verhalten oder die Umgebungssituation liefern.

Zusammen können diese Signale KI-Systemen dabei helfen, den Kontext effektiver zu interpretieren, und in manchen Anwendungen zu einem besseren Verständnis dessen beitragen, was für den Nutzer relevant sein könnte oder was er als Nächstes vorhat.

Tobii Blog - Traffic rendering

Zwei Möglichkeiten, wie Eye Tracking und KI zusammenwirken

Die Verbindung zwischen Eye Tracking und KI wirkt in mehr als nur eine Richtung.

Eye Tracking kann der KI mehr Kontext liefern

In manchen Anwendungen dient das Eye Tracking als weitere Echtzeit-Eingabe für ein KI-System.

Zu wissen, wohin jemand seine Aufmerksamkeit richtet, kann dazu beitragen, Unklarheiten zu verringern und Aufschluss darüber zu geben, welche Teile einer Umgebung derzeit relevant sind.

Dies kann nützlich sein, wenn eine KI mit einer Person interagieren, auf sich ändernde Situationen reagieren oder mehrere Signale gleichzeitig interpretieren muss.

KI kann bei der Auswertung von Eye Tracking-Daten helfen

In anderen Anwendungen werden die Eye Tracking-Daten selbst von der KI analysiert.

Augenbewegungen liefern komplexe, kontinuierliche Daten. Modelle des maschinellen Lernens können in großen Datensätzen Muster erkennen, die manuell nur schwer zu entdecken wären.

Auf diese Weise lassen sich aus Eye Tracking-Daten Erkenntnisse darüber gewinnen, wie Menschen lesen, lernen, Aufgaben erledigen, mit Produkten interagieren oder auf verschiedene Umgebungen reagieren.

Diese beiden Ansätze eröffnen ein breites Spektrum an Anwendungen.

Kleine Kameras, die in Smart glasses eingebaut sind, helfen dabei zu verstehen, was die Aufmerksamkeit eines Nutzers auf sich zieht.

Smart glasses und KI-Assistenten

Smart glasses verdeutlichen, warum der menschliche Kontext eine Rolle spielt.

Eine Kamera kann erkennen, was sich im Sichtfeld des Trägers befindet. Mithilfe von Eye Tracking lassen sich zusätzliche Informationen darüber gewinnen, auf welchen Bereich die Aufmerksamkeit des Trägers gerade gerichtet ist.

In Verbindung mit Sprachdaten und anderen kontextbezogenen Informationen können Aufmerksamkeitsdaten einem KI-Assistenten dabei helfen, Anfragen auch ohne explizite Eingaben des Nutzers zu interpretieren.

So könnte beispielsweise die Blickrichtung Aufschluss darüber geben, für welches Produkt sich jemand interessiert, welchen Textabschnitt er übersetzen möchte oder welches Objekt für seinen Befehl relevant ist.

Eye Tracking allein liefert nicht das vollständige Bild. Es liefert ein weiteres Signal, das einem KI-System dabei helfen kann, die Situation einzuordnen.

XR und räumliches Computing

Eye Tracking wird bereits in großem Umfang in Virtual und Mixed/Virtual Reality.

Es unterstützt die blickgesteuerte Interaktion sowie foveiertes Rendering, Training, Bewertung und Analyse des Nutzerverhaltens.

In Kombination mit KI können Blickdaten dazu beitragen, Systeme zu entwickeln, die sich an die Aktivitäten einer Person in einer immersiven Umgebung anpassen.

Eine Anwendung könnte den Blick zusammen mit Handbewegungen, Sprache oder anderen Verhaltensweisen nutzen, um zu erfassen, wie jemand eine Aufgabe bewältigt. Trainingssysteme könnten Muster der visuellen Aufmerksamkeit als eines von mehreren Signalen nutzen, um Anfänger und Experten zu unterscheiden und den Fortschritt bei der Entwicklung von Fähigkeiten zu messen.

In diesem Zusammenhang trägt Eye Tracking dazu bei, ein umfassenderes Bild des Nutzerverhaltens in der digitalen Umgebung zu gewinnen.

AI and eye tracking

Robotik und Mensch-Maschine-Zusammenarbeit

Für Roboter und intelligente Maschinen , die Seite an Seite mit Menschen arbeiten, kann das Verständnis der menschlichen Aufmerksamkeit ebenfalls wichtige Kontextinformationen liefern.

Die Zusammenarbeit zwischen Menschen beruht oft auf Signalen, die nie ausdrücklich ausgesprochen werden. Wir nehmen wahr, wohin jemand schaut, wonach er greift oder was seine Aufmerksamkeit in Anspruch nimmt.

Roboter haben von Natur aus keinen Zugang zu diesen Hinweisen.

Eye Tracking liefert Informationen über die visuelle Aufmerksamkeit, die in Verbindung mit Computer Vision und anderen Sensoren einem System dabei helfen können, zu erkennen, welche Objekte oder Bereiche gerade relevant sind und welche Absicht der Mensch möglicherweise verfolgt, während beide gemeinsam Aufgaben ausführen.

Dies kann zu einem sichereren und besser abgestimmten Zusammenspiel zwischen Menschen und Maschinen , ohne dass jede Aktion mit einem expliziten Befehl beginnen oder jeder Vorgang streng vorgegeben sein muss.

KI-Analyse von Eye Tracking-Daten

Zu den wichtigsten Anwendungsmöglichkeiten für Eye Tracking und KI haben wenig mit der Steuerung eines Geräts zu tun.

Stattdessen kann KI dabei helfen, aussagekräftige Muster aus Daten des Eye Tracking zu gewinnen.

Lexplore nutzt einen Tobii-Eye Tracker, um die Augenbewegungen der Schüler zu analysieren.
Lexplore nutzt einen Tobii-Eye Tracker, um die Augenbewegungen der Schüler zu analysieren.

Bildung

Augenbewegungen können detaillierte Informationen darüber liefern, wie jemand liest und schriftliches Material verarbeitet.

Mithilfe von maschinellem Lernen lassen sich diese Augenbewegungen analysieren, um Muster in großen Datensätzen zu erkennen. Dies hilft Entwicklern dabei, Instrumente zur Beurteilung der Lesefähigkeit und zur individuelleren Lernunterstützung zu entwickeln.

Tobii-Kunde Lexplore kombiniert beispielsweise einen Tobii Pro Fusion Eye Tracker und maschinelles Lernen, um die Augenbewegungen von Schülern beim Lesen zu analysieren und diese Muster in Informationen über die Lesefähigkeit umzuwandeln.

Gesundheitswesen und Forschung

Augenbewegungen können Informationen enthalten, die mit neurologischen und kognitiven Prozessen zusammenhängen.

Eine systematische Übersichtsarbeit aus dem Jahr 2025 in „Alzheimer’s & Dementia: Diagnosis, Assessment & Disease Monitoring“ untersuchte 71 Studien, in denen Eye Tracking bei Alzheimer, leichter kognitiver Beeinträchtigung und verwandten Demenzerkrankungen zum Einsatz kam. Sechs der einbezogenen Studien nutzten Eye Tracking-Messungen, um Modelle des maschinellen Lernens zu entwickeln, die Patientengruppen von gesunden Kontrollpersonen unterscheiden konnten. Die Modelle stützten sich auf Merkmale aus Aufgaben wie visueller Suche, freiem Betrachten und Sakkadenaufgaben.

Bei diesen Anwendungen wird KI nicht dazu genutzt, die Absicht einer Person anhand eines Blickes zu erschließen. Stattdessen identifiziert maschinelles Lernen Muster in komplexen Eye Tracking-Daten, die durch eine manuelle Analyse allein möglicherweise nur schwer zu erkennen sind.

Warum Datenqualität wichtig ist

KI-Modelle sind von der Qualität der Informationen abhängig, die sie erhalten.

Wenn Eye Tracking-Daten zu diesen Inputs gehören, spielt auch die Messqualität eine Rolle.

Genaue und zuverlässige Blickdaten bieten eine solidere Grundlage für die Erkennung von Mustern, den Vergleich von Verhaltensweisen und die Entwicklung von Systemen, die auf die Handlungen einer Person reagieren müssen.

Auch der Kontext, in dem die Daten erhoben werden, spielt eine Rolle.

Augenbewegungen werden durch Faktoren wie die jeweilige Aufgabe, die Umgebung, die Person und das verwendete Gerät beeinflusst. Ein ähnliches Blickverhalten kann in einem Klassenzimmer, in einem fahrenden Fahrzeug, in einer virtuellen Schulungsumgebung oder bei einer klinischen Untersuchung unterschiedliche Bedeutungen haben.

Deshalb ist Eye Tracking am aussagekräftigsten, wenn es in ein umfassenderes Verständnis der Situation eingebettet wird, anstatt isoliert interpretiert zu werden.

AI and eye tracking

Den Menschen im Mittelpunkt verstehen

Da KI zunehmend in immer mehr Geräte, Produkte und Dienstleistungen Einzug hält, wird es immer wichtiger, zu verstehen, wie Menschen mit ihrer Umwelt interagieren.

Eye Tracking kann diese Perspektive einbringen, indem es die menschliche Aufmerksamkeit messbar macht. Es kann im jeweiligen Moment Kontext liefern und Muster in größeren Datensätzen aufdecken, wodurch KI-Systeme und die Menschen, die sie entwickeln, Zugang zu Informationen erhalten, die sonst nur schwer zu erfassen wären.

Dieser zusätzliche Kontext kann dazu beitragen, KI-Systeme zu entwickeln, die besser darauf ausgerichtet sind, wie Menschen die Welt um sich herum wahrnehmen, wie sie ihre Aufmerksamkeit darauf richten und wie sie mit ihr interagieren.

Möchten Sie mehr über Eye Tracking erfahren?

Wenden Sie sich an unsere Vertriebsexperten, um zu erfahren, wie Sie Eye Tracking nutzen können, um Ihre Forschung, Ihr Produkt oder Ihre Schulungen zu optimieren.

Erfahren Sie mehr über Eye Tracking und KI

Melden Sie sich für unseren Newsletter an

Melden Sie sich für unseren Newsletter an

Melden Sie sich für unseren Newsletter an und erhalten Sie die neuesten Blogbeiträge und Erkenntnisse von Tobiidirekt in Ihren Posteingang. Entdecken Sie unsere Artikel, die sich mit dem Verhalten in der realen Welt, der Aufmerksamkeit und den Innovationen, die die Technologie von morgen prägen, beschäftigen.