Warum Eye Tracking für KI-Weltmodelle wichtig ist

KI wird immer besser darin, Inhalte zu erkennen und zu generieren. Die nächste Herausforderung besteht darin, zu verstehen, wie die physische Welt funktioniert. Weltmodelle sollen KI-Systemen dabei helfen, Darstellungen von Umgebungen, Objekten, Handlungen und deren Folgen zu erstellen. Doch wenn man ausschließlich aus Videos lernt, bleibt ein wichtiger Aspekt der menschlichen Wahrnehmung der Welt außer Acht: die Aufmerksamkeit.

Eine Kamera kann alles innerhalb ihres Sichtfelds aufzeichnen. Menschen verarbeiten eine Szene jedoch nicht ganz auf dieselbe Weise. Wenn wir einen Raum betreten, ein Möbelstück montieren, eine Mahlzeit zubereiten oder uns auf einer belebten Straße zurechtfinden, wählen unsere Augen kontinuierlich Informationen aus der Umgebung aus. Wir schauen auf ein Objekt und dann auf ein anderes. Wir prüfen etwas, bevor wir danach greifen. Wir richten unseren Blick wieder auf etwas, das unsere Aufmerksamkeit erfordert. Diese Verhaltensmuster enthalten Informationen, die herkömmliche Videoaufnahmen nicht explizit erfassen.

Für Entwickler, die an Weltmodellen, Robotik und verkörperter KI arbeiten, Eye Tracking eine zusätzliche Ebene menschlicher Aufmerksamkeitsdaten zu First-Person-Video — en hinzufügen und so anschaulichere Beispiele dafür liefern, wie Menschen reale Umgebungen wahrnehmen und mit ihnen interagieren.

Was sind Weltmodelle?

Ein Weltmodell ist ein KI-Modell, das dazu dient, eine interne Darstellung einer Umgebung und ihrer Veränderungen zu erstellen. Anstatt beispielsweise lediglich zu erkennen, dass in einem Videobild eine Tasse, ein Tisch und eine Hand zu sehen sind, könnte ein nützliches Weltmodell die Beziehungen zwischen diesen Elementen erlernen: Objekte bleiben bestehen, auch wenn wir wegschauen, Handlungen haben Konsequenzen, und bestimmte visuelle Informationen werden je nach der auszuführenden Aufgabe relevant.

Diese Fähigkeit ist besonders wichtig für „embodied AI“ — -KI-Systeme wie Roboter oder intelligente Geräte, die in physischen Umgebungen eingesetzt werden müssen. Das Training dieser Systeme erfordert umfangreiche und vielfältige Datensätze, die die Welt in Aktion zeigen. Videos werden daher zu einer immer wichtigeren Quelle für Trainingsdaten, doch Videos und die menschliche Wahrnehmung sind nicht dasselbe.

Vom bloßen Betrachten der Welt zum Verstehen derselben

Videos können Umgebungen, Objekte, Bewegungen und Interaktionen erfassen und liefern Modellen so umfangreiche Informationen darüber, was in der physischen Welt geschieht. Es gibt jedoch einen grundlegenden Unterschied zwischen dem, was eine Kamera aufzeichnet, und dem, worauf ein Mensch tatsächlich seine Aufmerksamkeit richtet: Eine Kamera erfasst alles, was sich in ihrem Sichtfeld befindet. Mithilfe von Eye Tracking lässt sich hingegen feststellen, wohin eine Person tatsächlich blickt.

In Kombination mit Videos aus der Ich-Perspektive liefern Blickdaten zusätzliche Informationen darüber, wie Menschen ihre Umgebung visuell erkunden —, was ihre Aufmerksamkeit auf sich zieht, worauf sie bei der Ausführung einer Aufgabe blicken und wie sich ihr Blickverlauf verändert, während sie mit der Welt interagieren.

Stellen Sie sich vor, Sie würden mit einer am Kopf befestigten Kamera eine Person dabei filmen, wie sie eine Tasse Kaffee zubereitet. Das Video könnte die Kaffeemaschine, Tassen, Tasten, die Arbeitsplatte, andere Geräte, die Hände der Person und Dutzende von Gegenständen in der Umgebung zeigen. Allein aus dem Video stehen dem Modell all diese Pixel zur Verfügung.

Wenn man jedoch Eye Tracking-Daten zum Datensatz hinzufügt, lässt sich zudem erkennen, dass die Person vor dem Drücken einer Taste auf das Display geschaut hat, beim Positionieren der Tasse einen Blick darauf geworfen hat, während des Einschenkens den Füllstand des Kaffees überprüft hat und ihre Aufmerksamkeit auf das nächste Objekt gelenkt hat, bevor sie danach griff. Die Szene hat sich nicht verändert. Die verfügbaren Informationen über die Person, die mit ihr interagiert, haben sich jedoch geändert.

Für Weltmodelle bietet dies eine weitere Kontextebene für die auf Video festgehaltenen Handlungen. Anstatt lediglich zu beobachten, was geschehen ist, kann der Datensatz Informationen über die visuelle Aufmerksamkeit enthalten, die mit einer Handlung einherging —. Dies trägt dazu bei, umfassendere Darstellungen darüber zu erstellen, wie Menschen die physische Welt wahrnehmen und mit ihr interagieren.

Nuancen erkennen: Anfänger vs. Experte

Experten und Anfänger achten nicht unbedingt auf dieselben Dinge. Ein erfahrener Techniker überprüft möglicherweise sofort eine Komponente, die ein Anfänger übersieht. Ein geübter Bediener überwacht möglicherweise mehrere Anzeigen in einer bestimmten Reihenfolge. Jemand, der eine Aufgabe erst erlernt, benötigt möglicherweise länger, um die benötigten Informationen zu finden.

Diese Unterschiede können bei der Erfassung von Demonstrationen menschlicher Aufgaben für KI-Systeme von großem Nutzen sein, doch viele der Feinheiten lassen sich allein mit herkömmlichen Videoaufnahmen nicht erfassen. Zwei Personen können letztendlich zwar dieselbe Handlung ausführen, dabei jedoch sehr unterschiedliche visuelle Wege einschlagen, um dorthin zu gelangen.

Blickdaten verleihen diesen Demonstrationen eine weitere Dimension, indem sie zeigen, worauf verschiedene Personen ihre Aufmerksamkeit richten. Auf diese Weise lassen sich nicht nur die Handlungen von Experten erfassen, sondern auch einige der visuellen Verhaltensweisen, die mit ihrer Fachkompetenz einhergehen.

Erfassen Sie multimodale Felddaten mit der Tobii Glasses X

Weltmodelle benötigen umfangreiche Daten aus der realen Welt —, die verschiedene Menschen, Umgebungen, Situationen und Aufgaben abdecken. Und die physische Welt ist von Natur aus multimodal. Wir nehmen unsere Umgebung nicht allein über das Sehen wahr: wir sehen, hören, bewegen uns, orientieren uns und lenken unsere Aufmerksamkeit gleichzeitig.

Tobii Glasses X bietet eine tragbare Plattform zur Erfassung mehrerer dieser Datenströme aus der realen Welt aus der Perspektive des Menschen.

Im Kern kombiniert die Tobii Glasses X Eye Tracking mit First-Person-Videomaterial und erfasst so sowohl das Geschehen um eine Person herum als auch die Blickrichtung dieser Person. Das Gerät verfügt jedoch auch über zusätzliche Sensoren, die wertvolle Kontextinformationen für das Training von KI liefern können:

• Stereo-Audio von zwei Mikrofonen

• Beschleunigungssensoren

• Ein Gyroskop zur Erfassung von Bewegungen

• Ein Magnetometer, das Orientierungsdaten liefert

Der Vorteil für KI-Entwickler liegt nicht lediglich in der Verfügbarkeit verschiedener Arten von Daten. Es ist vielmehr die Fähigkeit, diese unterschiedlichen Signale gemeinsam zu erfassen – während derselben Interaktion in der realen Welt und aus derselben menschlichen Perspektive.

Stellen Sie sich erneut eine Person vor, die eine Tasse Kaffee zubereitet. Das Videomaterial liefert die visuelle Umgebung und den Ablauf der Veranstaltungen. Eye Tracking zeigt, wohin die Person ihre Aufmerksamkeit richtet. Audioaufnahmen könnten das Geräusch der Maschine, eine gesprochene Anweisung oder andere Veranstaltungen in der Umgebung erfassen. Bewegungsdaten liefern zusätzliche Informationen darüber, wie der Träger seinen Kopf bewegt, während er nach einem Gegenstand sucht oder die Aufgabe ausführt, während Orientierungsdaten weiteren Kontext darüber liefern, wie er positioniert ist und sich durch die Umgebung bewegt.

Zusammen liefern diese Signale ein umfassenderes Bild der Erfahrung, als es jedes einzelne für sich allein könnte.

In komplexen Umgebungen gewinnt dieses Prinzip noch mehr an Bedeutung. Stellen Sie sich einen erfahrenen Techniker vor, der eine defekte Maschine diagnostiziert. Ein Video aus der Ich-Perspektive kann aufzeichnen, was der Techniker sieht und tut. Mithilfe von Eye Tracking lässt sich erkennen, welche Anzeigen, Komponenten oder Warnanzeigen in welcher Reihenfolge seine Aufmerksamkeit auf sich ziehen. Audioaufnahmen können ungewöhnliche Geräusche der Maschine oder gesprochene Kommunikation mit einem Kollegen erfassen. Bewegungs- und Orientierungsdaten können weitere Informationen darüber liefern, wie sich der Techniker bei der Inspektion verschiedener Teile der Anlage bewegt.

Für Entwickler von Weltmodellen und verkörperter KI können multimodale Datensätze wie diese anschaulichere Beispiele für die Zusammenhänge zwischen Umgebung, Aufmerksamkeit, Geräuschen, Bewegung und Handlungen liefern.

Die Komplexität der realen Welt erfassen

Ein weiterer wichtiger Aspekt von tragbare Datenerfassung ist die Möglichkeit, über kontrollierte Umgebungen hinauszugehen.

Umgebungen in der realen Welt sind komplex und unvorhersehbar. Menschen bewegen sich unterschiedlich, gehen Aufgaben auf unterschiedliche Weise an, werden abgelenkt, reagieren auf Geräusche und passen ihr Verhalten an sich ändernde Umstände an. KI-Systeme, die in solchen Umgebungen eingesetzt werden sollen, müssen diesen Unterschieden letztlich Rechnung tragen.

Da die Tobii Glasses X tragbar sind, können Daten erfasst werden, während sich Menschen ganz natürlich in ihrer Umgebung bewegen und mit ihr interagieren. Dies eröffnet Möglichkeiten zur Erfassung von menschenzentrierten Trainingsdaten in allen Bereichen – von alltäglichen Aktivitäten bis hin zu Fertigung, Wartung, Logistik, Robotik und anderen komplexen Aufgaben im realen Leben.

Außerdem eröffnet dies die Möglichkeit, Demonstrationen von verschiedenen Personen und mit unterschiedlichem Fachwissen zu sammeln. Anstatt ein KI-System anhand eines einzigen standardisierten Beispiels zu trainieren, können Entwickler potenziell mehrere Lösungsansätze für dasselbe Problem erfassen — – zusammen mit der visuellen Aufmerksamkeit, den Bewegungen, den Audioinhalten und dem Umgebungskontext, die mit jedem Ansatz verbunden sind.

Multimodale Daten liefern einem KI-System nicht automatisch Aufschluss darüber, warum sich eine Person auf eine bestimmte Weise verhalten hat, und auch nicht jede KI-Anwendung benötigt jeden verfügbaren Datenstrom. Durch die Kombination dieser Signale erhalten Entwickler jedoch einen umfangreicheren Datensatz, anhand dessen sie Zusammenhänge und Muster erkennen können, die allein anhand von Videomaterial möglicherweise nicht erkennbar sind.

Die Einbeziehung der menschlichen Perspektive in Weltmodelle

Zusammenfassend lässt sich sagen: Weltmodelle stellen eine Abkehr von KI dar, die in erster Linie Informationen erkennt oder generiert, hin zu Systemen, die darauf ausgelegt sind, umfassendere Darstellungen der physischen Welt und ihrer Veränderungen zu erstellen.

Das Video zeigt, was KI , was passiert. Menschliche Vorführungen können zeigen, , was wir tun. Eye Tracking kann ergänzen, , wohin wir unsere Aufmerksamkeit richten. Und zusätzliche Sensordaten — – darunter Audio-, Bewegungs- und Orientierungsdaten — – können weiteren Kontext über das Erlebnis und die Umgebung liefern, in der diese Handlungen stattfinden.

Für Weltmodelle und verkörperte KI kann dies den Trainingsdaten eine wichtige Dimension hinzufügen: Es geht nicht nur darum, die physische Welt zu erfassen, sondern auch darum, den Kontext besser zu erfassen, in dem Menschen diese Welt wahrnehmen, sich darin orientieren und mit ihr interagieren.