Eye Tracking in XR - die Nachbereitung des Jahres 2022 und Innovationen am Horizont

Anfänge und Abschlüsse haben etwas Besonderes an sich. Sie helfen uns, neu anzufangen, auf neue Ziele hinzuarbeiten, neue Funktionen zu entwickeln und neue Probleme zu lösen. Auch wenn das Jahr 2022 voller unvorhergesehener Herausforderungen war, hat die Pandemie bewiesen, dass die Menschen unglaublich einfallsreich sind - wenn sie mit Instabilität und Ungewissheit konfrontiert sind, blüht die Kreativität auf. Die Verantwortung für das XR-Segment von Tobii zu übernehmen, ist eine Herausforderung, der ich mich vor kurzem gestellt habe, und ich freue mich, sagen zu können, dass ich diese Rolle aus Sicht des Eye Tracking zu keinem besseren Zeitpunkt hätte übernehmen können. Wir haben gerade unseren ersten Vorstoß in den Massenmarkt für VR angekündigt. Und unsere XR-Plattform hat sich erweitert, um modernste optische Designs zu unterstützen, die neue Datenströme zur Verbesserung der Gerätefunktionen und der Benutzererfahrung liefern. Eine meiner ersten Aufgaben ist es, unsere XR-Nachlese für 2022 zu präsentieren und die Innovationen hervorzuheben, auf die wir uns in den kommenden Monaten freuen können. Viel Spaß!

Einstieg in den Massenmarkt für VR

Tobii wurde von Sony Interactive Entertainment als Anbieter der Eye Tracking-Technologie für PlayStation VR2 ausgewählt, so die Ankündigung (Juli 2022).

Die Zusammenarbeit mit unseren Kunden in den letzten Jahren hat uns geholfen, einen ganzheitlichen Ansatz für die Integration von Eye Tracking zu entwickeln. So konnten wir ein Subsystem entwickeln, das verschiedene optische Designs unterstützt und die besten Komponenten verwendet, um eine Eye Tracking-Lösung mit hoher Rechenleistung und attraktiver Ästhetik zu liefern.

Eine Art Beweis dafür, dass wir auf dem richtigen Weg sind, kam, als ich vor Ort bei einem Kunden war. Wir besprachen gerade das Design und die Ästhetik eines ihrer Prototyp-Headsets, als einer der Ingenieure mich bat, auf unsere Eye Tracking-Komponenten hinzuweisen - so sehr hat die Zusammenarbeit mit Akteuren der XR-Branche die Diskretion unserer Technologie geprägt.

Unsere XR-Plattform der nächsten Generation - gebaut für AR und VR

Das Engagement für OpenXR und die Zusammenarbeit mit Tech-Giganten, Headset-Designern und Entwicklern hat uns dabei geholfen, unsere Lösungen auf die sich ändernden Anforderungen von Headsets und Ökosystemen abzustimmen. Wir haben uns bemüht, das aus der Zusammenarbeit mit unseren Partnern gewonnene Fachwissen in das Design unserer XR-Plattform der nächsten Generation einfließen zu lassen - durch die Optimierung von Algorithmen und Komponententreibern für niedrige Latenzzeiten und minimalen Stromverbrauch, um die bestmögliche Nutzung von Ressourcen zu gewährleisten. Aber wie ich bereits angedeutet habe, wird auch viel Wert auf die Ästhetik gelegt, was sinnvoll ist, denn tragbare Geräte müssen bequem und attraktiv sein. Um dies zu erreichen, haben wir einige Arbeit in unsere Designs gesteckt, so dass sie mit diskreten und leichten Komponenten laufen, die so platziert sind, dass sie das Benutzererlebnis nicht stören.

Für OEMs, die eine augennahe Optik (Pancake) einsetzen möchten, unterstützt unsere XR-Plattform der nächsten Generation VR-Headsets und AR-Brillen. Und obwohl wir unsere Plattform so konzipiert haben, dass sie mit Standardkomponenten betrieben werden kann, denke ich, dass das wesentliche Know-how, das wir einbringen, unser Wissen über die optimale Platzierung ist, wie man invasive Architekturänderungen vermeidet und sicherstellt, dass das endgültige Gerätedesign für die Massenproduktion geeignet ist.

Investitionen in Fähigkeiten zur Geräteoptimierung

In diesem Jahr haben wir weiter in Geräteoptimierungsfunktionen wie softwarebasierte IPD, Positionierungsunterstützung und Schlupfkompensation investiert. Die IPD-Einstellung per Software macht umständliche Messtechniken mit Spiegeln und Linealen überflüssig, macht aber auch ein physisches IPD-Einstellrad überflüssig und verbessert statische Verzerrungsalgorithmen durch ideale Ausrichtung von Anfang an. Eye Tracking ist die perfekte Lösung, um die Daten zu liefern, die für automatisierte IPD-Einstellungslösungen benötigt werden, die den Benutzer immer auf den Sweet Spot des Objektivs ausrichten. Wir haben an der Kompensation des Verrutschens und an einer Lösung gearbeitet, die wir Positionierungshilfe nennen und die dem Benutzer hilft, das Headset richtig zu platzieren - sowohl vertikal als auch horizontal -, was wiederum dazu beiträgt, dass sich die Benutzer im optischen Sweet Spot befinden und das Display in voller Klarheit sehen können.

Was kommt auf uns zu

Die Art und Weise, wie dynamisches Foveated Rendering die Ressourcen eines Headsets ausschöpft, war einer der Hauptgründe, warum Eye Tracking zu einem integralen Bestandteil moderner Headsets geworden ist. Seine Schwestertechnik - Dynamic Foveated Transport -, die zur Senkung der Bandbreitenanforderungen beiträgt, beginnt sich durchzusetzen, da sich die ISV-Gemeinschaft intensiver mit Eye Tracking befasst und herausfindet, wie man es für das Off-Device-Computing nutzen kann.

Unscharfe Bilder, Geisterbilder und Blendeffekte, die durch die Linsenverzerrung verursacht werden, sind problematisch, weil sie den Benutzer stören und bei manchen Menschen zu Übelkeit führen können. Zusätzlich zu den "Sweet Spot"-Lösungen, über die ich gerade gesprochen habe, haben wir kürzlich an einer neuen Idee gearbeitet, um das XR-Erlebnis zu verbessern, indem wir sicherstellen, dass sich die Pupille des Benutzers immer im Sweet Spot befindet. Bei diesem Konzept wird die statische Kompensation durch eine dynamische Lösung ersetzt, die für scharfe Bilder sorgt und unerwünschte Effekte beseitigt, wenn der Benutzer seine Augen bewegt. Um eine solche Lösung zu ermöglichen, haben wir an einem neuen Eye Tracking-Signal gearbeitet, das die 3D-Pupillenposition in Echtzeit liefert. Halten Sie 2023 Ausschau nach einem White Paper zu diesem Thema.

Da Eye Tracking zu einem integralen Bestandteil von XR Integrationen wird, können wir meiner Meinung nach Geräte mit varifokalen Displays erwarten, die die Brennweite je nach Blickrichtung dynamisch anpassen. Diese Art von Displaysystem der nächsten Generation wird die intuitive Interaktion mit virtuellen Objekten unterstützen und dazu beitragen, den Konflikt zwischen Vergenz und Akkommodation zu lösen, indem es die Belastung der Augen durch nicht übereinstimmende Signale zwischen Vergenz und Akkommodation des Auges reduziert.

Neue Möglichkeiten für Geselligkeit und Sport

Wenn es um soziale Kontakte geht, ist es kein Geheimnis, dass Sensortechnologien wie Eye Tracking dazu beitragen, Avatare mit authentischen Gesichtsausdrücken und Augenbewegungen zum Leben zu erwecken, die den Benutzer in Echtzeit imitieren. Mir gefällt besonders ein Experiment, das wir mit LIV und Ready Player Me unter Verwendung des Spiels Racket: Nx durchgeführt haben, weil es zeigt, wie Eye Tracking den Avatar des Spielers ausdrucksstark macht. Einer meiner Kollegen hat einige Zeit damit verbracht, unser Eye Tracking in Epics beliebtem Avatar-Erstellungstool MetaHuman zu aktivieren. Wenn Sie mehr darüber lesen möchten, empfehle ich Ihnen seinen Beitrag Ein Blickexperiment mit MetaHuman .

Die Welt des Sports hat sich als ideale Anwendung für Eye Tracking erwiesen. Wenn man es in tragbare Sportgeräte wie Hockeyhelme und Golfmützen integriert, eröffnet sich ein einzigartiger Strom von Erkenntnissen, die den Fans, Trainern und Sportlern zur Verfügung gestellt werden können. Diese Art von Lösung eröffnet beispielsweise neue Möglichkeiten für Streaming-Dienste, um das Spielgeschehen aus der Sicht des Spielers zu übertragen - nicht nur, was er sieht, sondern auch, wie er die Szene vor ihm scannt. Und für die Leistungsanalyse liefern die Daten Trainern und Sportlern wertvolle Informationen über das Spielgeschehen und darüber, worauf sich die Spieler in strategischen Momenten konzentrieren.

Umwälzungen in der Industrie ermöglichen - Ausbildung und Gesundheitswesen

Der Pilotenmangel in den USA könnte bis 2025 ein Defizit von bis zu 30.000 Piloten erreichen. Die Zahl der Piloten ist zurückgegangen, weil während der Pandemiezeit Vorruhestandsregelungen für leitende Angestellte angeboten wurden, weil weniger Militärpiloten zu kommerziellen Fluggesellschaften wechseln und weil die Ausbildungsmethoden nicht mit der Nachfrage Schritt halten können. Um dieses letzte Problem anzugehen, hat unser Partner VTR eine VR-basierte Lösung für die Pilotenausbildung entwickelt, die die Ausbildungsergebnisse verbessern und die Kosten senken soll. Herkömmliche Simulatorzeit ist ein teures Gut und die Nachfrage ist extrem hoch. Die Lösung von VTR ersetzt die traditionelle Art und Weise, wie Piloten anhand von Handbüchern und papierbasierten Modellen lernen, um robuste Fähigkeiten zu entwickeln und sicherzustellen, dass die Zeit im Simulator so effektiv wie möglich ist.

Da Eye Tracking ein digitales Werkzeug ist, das Erkenntnisse über den Menschen liefert, trägt es dazu bei, traditionelle, auf manueller Beobachtung basierende Pflegelösungen in die digitale Sphäre zu übertragen. Aber die digitale Transformation mit VR bringt den zusätzlichen Bonus der Mobilität mit sich, was oft zu hochflexiblen (und günstigeren) halbautomatischen Lösungen führt. In diesem Jahr kam unsere Zusammenarbeit mit Olleyes, einem führenden MedTech-Unternehmen, das sich auf VR-basierte Augenpflegelösungen spezialisiert hat, zum Tragen. Wie der CEO von OIleyes, Alberto Gonzalez, erklärt, erhöht sich durch die Verlagerung von Augenuntersuchungen auf VR der Patientendurchsatz, und die Messungen werden objektiv und genau. Der wertvollste Aspekt, den er erwähnt, ist die Tatsache, dass die VR den Aufwand verringert, indem sie den Patienten hilft, die Tests durchzuführen, und den Ärzten, sie auszuführen. Langfristig wollen sie ihre Lösungen nach Hause verlagern. Ich stelle mir vor, dass es viel mehr Spaß macht, ganz zu schweigen von der Bequemlichkeit, zu Hause zu sitzen und Augentests mit einem VR-Headset durchzuführen, als endlose Besuche in der nächstgelegenen Klinik.

Die unermüdlichen Anstrengungen des gesamten XR-Ökosystems haben dazu geführt, dass Geräte, Inhalte und Anwendungen schnell zur Reife gelangen. Und ich habe keinen Grund zu glauben, dass dies 2023 anders sein wird. Wir werden weiterhin durch unsere Datentransparenzpolitik , den OpenXR-Standard und den allgemeinen Aufbau des Metaversums zu Datenschutz und Sicherheit beitragen.

Da die Geräteoptimierung ganz oben auf der Einkaufsliste der OEMs steht, ist es meine Aufgabe, dafür zu sorgen, dass Tobii weiterhin Lösungen entwickelt, die eine geringe Rechenleistung ohne Verzerrungen gewährleisten und das bestmögliche grafische Erlebnis bieten. Während sich die großen Player auf leichtere, dünnere Headsets mit hervorragender Bildqualität und großartiger Ästhetik konzentrieren, möchte ich Ihnen einen Gedanken mit auf den Weg geben: Einige der begehrtesten XR-Konzepte benötigen ein blickgenaues Eye Tracking, um zu funktionieren.