Eye tracking in XR — the 2022 wrap-up and innovations on the horizon
Tobii's acting head of XR, Emma Bauer, takes a look back at XR in 2022, talking about some of the things Tobii has been working on and what innovations she expects to see in 2023.
Während der Markt heranreift, deuten Vorhersagen darauf hin, dass XR kurz davor steht, sich auf dem Massenmarkt durchzusetzen. Anfang 2020 prognostizierte Research and Markets ein Wachstum von 65 % CAGR für die kommenden fünf Jahre (2020-2025), eine Prognose, die von den Zahlen von MarketWatch gestützt wird und sich im Wachstum der Headset-Lieferungen widerspiegelt, die bis 2023 auf über 30 Millionen Einheiten steigen sollen. Der Erfolg von XR hängt von der bereichsübergreifenden Zusammenarbeit ab, da sie sicherstellt, dass wichtige unterstützende Technologien wie Eye Tracking, 5G-fähige Chipsätze, Transportnetzwerke, XR-Cloud und Anwendungsentwicklung die neuesten Designs nutzen können.
Der XR-Technologiestapel ist vielfältig und erfordert von den Headset-Herstellern die Verwaltung mehrerer Drittanbieter, die Nischenprodukte und -dienste anbieten. Der Aufbau eines nachhaltigen XR-Ökosystems, das Millionen von Vielnutzern unterstützt, erfordert leichte und komfortable Headsets, Transportnetzwerke mit geringer Latenz, überzeugende Nutzerinhalte, Head-, Hand- und Eye Tracking, XR-Cloud und Unterstützung für Foveation-Technologien. Eine bereichsübergreifende Integration ist für eine rasche Kommerzialisierung entscheidend.
Das neue Qualcomm® Snapdragon™ XR2 5G Reference Design ist das weltweit erste 5G-fähige Referenz-Headset und verfügt über Eye Tracking von Tobii als native und grundlegende Technologie. Durch die Zusammenarbeit über mehrere Produktgenerationen hinweg setzen Tobii und Qualcomm einmal mehr den Goldstandard für das, was Nutzer und Entwickler von einem VR-Headset erwarten sollten.
Als grundlegende XR-Technologie hat Eye Tracking die Fähigkeit, die Akzeptanz durch seinen Beitrag zur Systemintegration und zum Benutzererlebnis zu fördern.
Aus Sicht der Systemintegration erfordert der Aufbau eines Ökosystems mit Millionen von Nutzern eine effiziente Nutzung der Ressourcen.
Durch die Nutzung des menschlichen Sehprozesses kann Eye Tracking die grafische Verarbeitung von Headsets entlasten und die Bandbreite reduzieren, die für die Übertragung von Daten über das Netzwerk an andere Headsets und Geräte erforderlich ist, ohne dass das Benutzererlebnis beeinträchtigt wird.
Foveated Rendering macht sich die Tatsache zunutze, dass unsere Augen einen begrenzten Bereich von Interesse in hoher Auflösung fokussieren, der von einem Überblendungsbereich mittlerer Auflösung umgeben ist, außerhalb dessen wir nur für Objekte in unserer Peripherie ein Rendering in niedriger Auflösung benötigen.
Die Tobii Spotlight Technology™ ermöglicht ein dynamisches foveated Rendering, das die Fokusdaten des Benutzers nutzt, um die Verarbeitungslast des Headsets drastisch zu verringern. So werden Ressourcen frei, um beispielsweise Headsets mit höherer Auflösung zu unterstützen, die Grafik zu verbessern und die Bildrate zu erhöhen (was dazu beitragen kann, Übelkeit zu verringern).
Aus der Sicht des Nutzers erfordert der Aufbau eines Ökosystems mit Millionen von regelmäßigen Nutzern überzeugende Inhalte, die wiederum Anreize und einen niedrigen Einstiegspunkt für Entwicklungsteams erfordern. Die Vorhersage der Absicht eines Nutzers, ein Objekt in die Hand zu nehmen, wird zum Beispiel vereinfacht, wenn Eye Tracking-Daten verfügbar sind. Eine Anwendung kann den Blickpunkt eines Benutzers nutzen, um ein Objekt auszuwählen, ohne dass dieser erst schauen und dann mit einer Handgeste oder Kopfbewegung auswählen muss. Die blickbasierte Objektauswahl ahmt die Art und Weise nach, wie Menschen auf natürliche Weise mit der Welt um sie herum interagieren, und erhöht das Gefühl der Immersion für den Benutzer. Da keine Kopfbewegungen erforderlich sind, kann Eye Tracking dazu beitragen, Ermüdung und Übelkeit zu verringern - zusätzliche Faktoren, die die Akzeptanz beschleunigen.
Mit Eye Tracking werden avatarbasierte Anwendungen durch natürliche Augenbewegungen realistisch, indem Funktionen wie sozialer Augenkontakt genutzt werden. Zusammen mit Kopf- und Handgesten werden Anwendungen, die Eye Tracking nutzen, intuitiver, das Erlernen ist einfach und das Benutzererlebnis ist einprägsam - Faktoren, die zur Akzeptanz beitragen.
Neben einem verbesserten Benutzererlebnis, neuen Geschäftsmöglichkeiten für Entwickler und einer geringeren GPU- und Transportbelastung spielt Eye Tracking auch eine Rolle bei der Benutzerfreundlichkeit des Headsets - ein wichtiger Faktor für XR. Das Gewicht und der Komfort des Headsets sind zwei der wichtigsten Designfaktoren, die die Akzeptanz beeinflussen.
Durch die kontinuierliche Messung des Abstands zu den Augen einer Person kann z. B. ein Verrutschen erkannt werden. Die Kalibrierung mit Eye Tracking ist genau, da zusätzliche Parameter wie der Abstand zwischen den Augen einer Person, die Position der Fovea und die Reflexionseigenschaften verschiedener Teile der Augen in die Berechnung einbezogen werden können.
Gemeinsam haben Qualcomm und Tobii eine Plattform aufgebaut, die die Schaffung eines nachhaltigen XR-Ökosystems für Millionen von Vielnutzern ermöglicht. Tobii ist sehr daran interessiert, mit anderen Akteuren zusammenzuarbeiten, sowohl auf der Ebene der Systemintegration als auch der Anwendungsentwicklung. Unser SDK bietet zum Beispiel viele wichtige Tools, um die Einstiegshürde für die Entwicklung von Anwendungen in Bereichen wie Training, Remote Collaboration, immersives Design und Diagnose zu senken. Sind Sie an einer Partnerschaft mit Tobii interessiert?
Wir freuen uns darauf, von Ihnen zu hören.
Tobii's acting head of XR, Emma Bauer, takes a look back at XR in 2022, talking about some of the things Tobii has been working on and what innovations she expects to see in 2023.
Drew Bamford, Corporate Vice President von HTC Vive Creative Labs, erörtert die wichtigsten Trends und möglichen Herausforderungen, die den XR-Markt beeinflussen.
In this post, we discuss the importance of open standards and how eye tracking as an OpenXR extension is a catalyst for innovation in the XR ecosystem.