Eye Tracking in VR und AR: Wegbereiter für die Zukunft immersiver Technologien

Mit dem Fortschritt der Virtual- und Augmented-Reality-Technologien entwickelt sich das Eye Tracking zu einer der einflussreichsten Funktionen in diesen immersiven Umgebungen. Einst ein Nischenwerkzeug für Forschungslabore, ist das Eye Tracking heute in VR-Headsets für Endverbraucher und AR-Anwendungen für Unternehmen integriert und eröffnet damit neue Möglichkeiten in den Bereichen Interaktionsdesign, Schulung, Gaming und vielem mehr.

In diesem Beitrag wird untersucht, wie Eye Tracking die Entwicklung von
Virtual Reality (VR) und Augmented Reality (AR) beeinflusst, welche technischen und menschenzentrierten Herausforderungen sich daraus ergeben und wohin die Entwicklung als Nächstes führen wird.

Eye Tracking in Extended Reality (XR) beinhaltet den Einsatz von Sensoren und Kameras, um den Blick eines Nutzers zu beobachten und zu messen und festzustellen, worauf er schaut, wie lange er den Blick darauf richtet und wie sich seine Augen in einer 3D-Umgebung bewegen.

Es erfasst:

• Fixationen: Punkte, an denen der Blick innehält, um scharfzustellen.

• Sakkaden: Schnelle Augenbewegungen zwischen verschiedenen Fokuspunkten.

• Pupillenerweiterung: Weist auf Aufmerksamkeit oder kognitive Belastung hin.

• Blinzelmuster: Können auf Müdigkeit oder emotionale Zustände hindeuten.

Diese Echtzeit-Blickdaten tragen dazu bei, virtuelle und erweiterte Umgebungen intuitiver, individueller und effizienter zu gestalten.

1. Verbesserte Interaktion und Eintauchen in die Spielwelt

Herkömmliche VR stützt sich stark auf Controller und Gesten. Eye Tracking führt eine neue Interaktionsebene ein, die es den Nutzern ermöglicht, Objekte anzusehen, um sie auszuwählen, zu vergrößern oder Veranstaltungen auszulösen.

• Blickbasierte Interaktion: Durch Blicken auswählen oder aktivieren.

• Foveated Rendering: Nur der fokussierte Bereich wird in hoher Auflösung gerendert, wodurch die Rechenlast reduziert und die Leistung gesteigert wird.

2. Schulung, Simulation und Bewertung

Branchen wie die Luftfahrt, der Maschinenbau und die Medizin setzen VR in Verbindung mit Eye Tracking ein, um:

• Analysieren Sie das Aufmerksamkeits- und Entscheidungsverhalten während Simulationen.

• Verbessern Sie die Sicherheitsschulungen, indem Sie überwachen, ob sich die Teilnehmer auf die wesentlichen Elemente konzentrieren.

• Das Training in Echtzeit anhand individueller Blickverläufe anpassen.

3. AR in Industrie und Unternehmen

Eye Tracking ermöglicht eine freihändige Bedienung in der Fertigung oder im Außendienst und gewährleistet die Einhaltung der Vorschriften.

• Überprüfen Sie, ob die Techniker die visuellen Anweisungen befolgen

• Schnittstellen aktivieren, die darauf reagieren, wohin der Mitarbeiter blickt

• AR-Brillen mit Eye Tracking können die Einhaltung von Arbeitsanweisungen überwachen und sofortige Korrekturen vornehmen.

4. Bildungs- und Kognitionsforschung

Pädagogen und Forscher nutzen Eye Tracking, um Einblicke in Lernverhalten zu gewinnen.

• Stellen Sie sich vor, wie die Schüler sich mit den Lerninhalten auseinandersetzen.

• Geben Sie Feedback zur Beteiligung und zum Verständnis.

• Unterstützen Sie Lernende mit neurologischen Besonderheiten durch maßgeschneiderte visuelle Pacing-Maßnahmen.

5. Spiele und Unterhaltung

Im Gaming-Bereich wird Eye Tracking für folgende Zwecke eingesetzt:

• Adaptives Gameplay, bei dem die Charaktere reagieren, wenn man sie zu lange anstarrt.

• Zielgenauigkeit oder Bewegung anhand der Blickrichtung.

• Emotionserkennung anhand von Blickrichtung und Pupillenreaktion für immersives Storytelling.

Aktuelle Trends, die man im Auge behalten sollte

1. Der Aufstieg des fovealen Renderings

Große Akteure wie Meta, Apple und HTC setzen sich für Foveated Rendering als Standardfunktion. Dies steigert die Bildraten erheblich und senkt gleichzeitig die GPU-Auslastung, wodurch hochauflösende XR skalierbarer wird.

2. Eye Tracking + KI

Durch die Kombination von Eye Tracking und maschinellem Lernen können Systeme:

• Die Absicht des Nutzers vorhersagen.

• Inhalte dynamisch anpassen.

• Achten Sie auf Anzeichen von Müdigkeit oder Verwirrung und passen Sie das Tempo oder den Schwierigkeitsgrad entsprechend an.

3. Integrationen in gängige Verbrauchergeräte

Mit der Markteinführung von Geräten wie dem Apple Vision Pro ist Eye Tracking nun nicht mehr nur auf den Forschungsbereich und Unternehmensanwendungen beschränkt. Es wird erwartet, dass zukünftige Headsets für Endverbraucher diese Technologie standardmäßig integrieren werden.

4. Kontextbezogene Interaktion

Eye Tracking wird mit Umgebungserfassung (wie räumlicher Kartierung und Handverfolgung) kombiniert, um kontextbezogene Benutzeroberflächen zu entwickeln, die intuitiv reagieren, ohne dass Tastenklicks oder Sprachbefehle erforderlich sind.

Technische und menschenzentrierte Herausforderungen

Trotz seines Potenzials steht das Eye Tracking in der XR-Branche noch vor einigen Herausforderungen:

Hardware-Kalibrierung

• Für ein genaues Eye Tracking ist eine präzise Kalibrierung erforderlich, was für Nutzer mit Brille, ungewöhnlicher Augenform oder bestimmten Augenerkrankungen schwierig sein kann.

• Auch die Aufrechterhaltung der Kalibrierung während der Bewegung ist schwierig, insbesondere in aktiven VR-Szenarien.

Tragekomfort und Passform

• Nicht jeder Nutzer trägt sein Headset auf dieselbe Weise, was zu einer uneinheitlichen Erfassung führen kann.

• Eine längere Nutzung kann zu Ermüdung führen, insbesondere wenn das System das Blickverhalten falsch interpretiert.

Vielfalt im Blickverhalten

• Kulturelle, neurologische und altersbedingte Unterschiede beeinflussen die Art und Weise, wie Menschen Dinge betrachten. Designer müssen Blickschnittstellen vermeiden, die für alle gleich sind.

Datenauswertung

• Rohdaten zum Blickverhalten sind verrauscht. Die Gewinnung aussagekräftiger Erkenntnisse, wie beispielsweise „Absicht“ oder „Interaktion“, erfordert fortschrittliche Algorithmen und manchmal auch fachspezifische Trainingsdatensätze.

Ein Blick in die Zukunft: Wie geht es weiter?

Eye Tracking in VR und AR entwickelt sich von einer Neuheit zu einer Kerntechnologie. Mit dem Fortschritt der Hardware und der Weiterentwicklung der Software-Ökosysteme können wir Folgendes erwarten:

• Realistischere XR-Schnittstellen, die weder Berührung noch Sprache erfordern.

• Verstärkter Einsatz adaptiver Inhalte, die in Echtzeit auf Aufmerksamkeit und Emotionen reagieren.

• Eine engere Zusammenarbeit zwischen UX-Designern, Neurowissenschaftlern und KI-Ingenieuren, um intuitive Nutzererlebnisse zu schaffen.

Abschließende Gedanken

Eye Tracking verändert die Art und Weise, wie wir mit immersiven Technologien wie VR und AR interagieren. Es zeigt, wohin Nutzer blicken, und ermöglicht es Systemen, in Echtzeit auf ihre Aufmerksamkeit zu reagieren. Mit den fortschrittlichen Eye Tracking-Lösungen von Tobii, darunter das Tobii XR SDK und die Eye Tracking-Integration für führender Headsets, können Entwickler blickgesteuerte Erlebnisse schaffen, die sich automatisch an das Nutzerverhalten anpassen.

Für Designer, Entwickler und Produktstrategen ist die Botschaft klar: Beginnt bereits bei der Konzeption mit der Blickverfolgung im Blick. Die Technologie von Tobii ermöglicht XR-Anwendungen, die Leistung durch foveiertes Rendering zu steigern, die Nutzerinteraktion durch nahtlose Interaktionen zu vertiefen und intelligentere Analysen durch die Erfassung von Daten zur visuellen Aufmerksamkeit zu generieren. Mit der Weiterentwicklung immersiver Erlebnisse wird Eye Tracking für XR ebenso unverzichtbar werden wie Motion Tracking und Haptik — – insbesondere, wenn es auf der Technologie von Tobii basiert.