Eye Tracking - die Authentizität des Metaversums

Vor ein paar Monaten habe ich eine Reise in die USA unternommen, meine erste seit über 18 Monaten. Der Zweck dieses Besuchs war es, Kunden, Partner und Kollegen zu treffen. Für einige war es die erste persönliche Geschäftsbegegnung seit fast zwei Jahren. Die Erfahrung, und mit diesem Gefühl bin ich sicher nicht allein, war eine Mischung aus Erleichterung und Begeisterung. Nach einer so langen Abwesenheit fühlte sich ein Treffen von Angesicht zu Angesicht wie ein Beweis für das menschliche Bedürfnis nach Verbindung an. Und das brachte mich dazu, über die Technologien nachzudenken, die es einigen Unternehmen ermöglicht haben, während der Pandemie weiter zu arbeiten, und darüber, wie wichtig es ist, dass die Tech-Welt diese Lösungen im Sinne der Intuitivität und der echten menschlichen Verbindung weiterentwickelt.

Für diesen Beitrag haben meine Kollegin Maggie und ich uns zusammengesetzt, um über den Stand von XR, das Metaversum und dessen Bedeutung für alle zu sprechen und darüber, wie Eye Tracking eine neue Ebene der Authentizität schaffen wird.

In letzter Zeit wurde, zumindest in Teilen der Tech-Industrie, viel über das Metaversum geredet.

Also, Johan, meine erste Frage an dich ist, was denkst du, was das Metaverse ist? Was ist deine Meinung dazu?

Auch wenn es vielleicht nicht unbedingt als solches bezeichnet wird, glaube ich, dass das Metaverse schon seit einiger Zeit im Kommen ist. Es ist entstanden, weil Menschen innovative Verbindungen zwischen sich entwickelnden Technologien hergestellt haben. Das Metaverse ist ein Raum mit gemischter Realität (MR), in dem Menschen zusammenkommen können, um zu arbeiten, zu spielen, zusammenzuarbeiten und sogar ihren Lebensunterhalt zu verdienen, entweder als sie selbst oder als Avatar. Es handelt sich um ein gleichberechtigtes Spielfeld, das jeder von jedem Gerät aus und überall betreten kann. Technologieplattformen und Metaverse-Lösungen werden die zeitlichen und räumlichen Herausforderungen lösen, so dass sich das Zusammensein in MR authentisch und kohärent anfühlen wird.

Warum glauben Sie, dass das Metaversum jetzt stattfindet? Warum nicht früher, als die gemischte Realität eher eine Vision war?

Ein Großteil des Hypes ist natürlich darauf zurückzuführen, dass große Technologieunternehmen wie Meta (ehemals Facebook), Microsoft und NVIDIA das Metaversum nutzen, um die Konvergenz einer Reihe von Technologien zu beschreiben und, was vielleicht noch wichtiger ist, um den Verbrauchern die Geschichte zu erzählen, ohne sich in den Details zu verlieren. Cloud-Dienste, Weitverkehrsnetze und mobile Netzwerke haben sich so weit etabliert, dass sie komplexe, bandbreitenintensive Dienste mit nachhaltigen Geschäftsmodellen für Betreiber unterstützen können. Die Geräte sind ausgereift und beginnen, das immersive Versprechen einzulösen, wobei die Akzeptanz durch immer kleinere Formfaktoren und niedrigere Preise weiter gefördert wird - was neue Anforderungen an die Inhalte schafft und den Entwicklern einen wachsenden Markt bietet. Wenn man all diese Punkte zusammenfügt, erhält man das Metaverse und das, was es verspricht.

Was hat also das Metaversum mit uns, mit Tobii, zu tun? Warum sitzen wir heute hier und diskutieren darüber?

Mit der Entwicklung des Metaversums wird die Popularität von tragbaren VR- und AR-Geräten aufgrund des hohen Grades an Immersion, den sie bieten, zunehmen. Die Raumakustik wird den Klang authentisch simulieren, so dass Menschen sich in einem MR-Raum befinden und sich auf auditive Hinweise verlassen können, um miteinander zu interagieren. Aber um Ihre Frage zu beantworten: Die Technologie von Tobii ermöglicht authentische Verbindungen, die sonst im Metaversum nicht möglich sind, weil wir realistischen Blickkontakt und ein Verständnis für menschliche Aufmerksamkeit liefern - die Kernelemente der Kommunikation. Von klein auf lernen Kinder, visuellen Hinweisen zu folgen, und etwa 80 Prozent der Informationen, die unser Gehirn verarbeitet, sind visuell. Wenn Sie also einer Person in die Augen schauen oder beobachten, wie sich ihre Lippen bewegen, ist der Unterschied in der Interpretation der Absicht gewaltig, als wenn Sie nur über ihren Kopf starren. Die Kommunikation im Metaversum wird also nur funktionieren, wenn die Geräte mit Eye Tracking ausgestattet sind.

Und dann ist da noch die Sache mit den Controllern. Sie sind nicht unbedingt intuitiv, genauso wenig wie Tastaturen oder Mäuse, aber wir haben uns daran gewöhnt, diese Eingabemodalitäten als Mittel zur Eingabe von Informationen in Systeme zu nutzen. Aber um ein authentisches Metaversum-Erlebnis zu gewährleisten, wollen wir nicht unbeholfen mit unseren Händen oder Controllern herumfuchteln - vor allem nicht in einer AR-Umgebung. Im wirklichen Leben verwenden wir Gesten, Sprache und Augenkontakt, um unsere Absicht zu zeigen. Und das werden wir auch im Metaversum tun. Eye Tracking, das Blicke, Kopfbewegungen und Gesichtsmerkmale erfasst, wird eine schnelle Authentifizierung sowie eine intuitive Kommunikation ermöglichen, die sowohl die Kopfhaltung als auch visuelle Hinweise nutzt. Es ist wahrscheinlich, dass die aufkommende kugellose Handverfolgung ebenfalls Teil der Mischung sein wird, da sie eine weitere intuitive Eingabemodalität darstellt. Eye Tracking wird die Verwendung einfacher, intuitiver Gesten unterstützen, die das Zeigen und komplexe Gesten durch diskrete Wischbewegungen ersetzen (möglicherweise mit Handschuhen für kalte Klimazonen).

Für Menschen, die das Metaversum mit Augmented Reality-Geräten betreten, ist Eye Tracking aufgrund der zusätzlichen Daten, die es liefert, von entscheidender Bedeutung. Die Art von Informationen, die unsere Technologie liefert, wird den Entwicklern helfen, virtuelle Objekte nahtlos in die physische Welt einzufügen. Eye Tracking wird dazu beitragen, die Parallaxe zwischen der realen und der virtuellen Welt zu verringern, so dass die Benutzererfahrung authentisch und kohärent wird. Die Technologie ist auch grundlegend für die Entwicklung multifokaler Displays und automatischer Akkommodationssysteme.

XR-Geräte werden ein wichtiger Bestandteil des Metaversums sein, weil sie das Gefühl vermitteln, an einem anderen Ort zu sein und wirklich daran teilzunehmen. Warum also ist der Komfort so ein Thema?

Büroangestellte haben sich an mehrere Monitore und Geräte gewöhnt und wählen die Lösung, die am besten zu ihren Aufgaben und ihrem Arbeitsort passt. Genauso wie die Ergonomie für nachhaltige Arbeitsbedingungen entscheidend ist, ist der Komfort für XR entscheidend. Sie wissen, dass unsere Partner von Pico, die gerade die dritte Generation ihres ungebundenen Headsets mit unserer Eye Tracking-Technologie auf den Markt gebracht haben, unermüdlich am Komfortfaktor gearbeitet haben. Sie haben eine beträchtliche Investition getätigt, weil sie wissen, dass der Komfort entscheidend ist, damit die Menschen XR-Geräte einen ganzen Arbeitstag lang nutzen können.

Mit dem Eye Tracking von Tobii können Sie den Komfort erhöhen, denn das Headset kann die Messung des Augenabstandes nutzen, um sich automatisch an verschiedene Benutzer und an das Verrutschen anzupassen, ohne das Benutzererlebnis zu stören.

Und dann ist da noch das Problem der Bewegungskrankheit, das durch hochauflösende Grafiken gelöst werden kann. Hier sind Technologien wie Dynamic Foveated Rendering (DFR) unverzichtbar, damit XR-Geräte in Split- und On-Device-Verarbeitungsarchitekturen leistungsfähig bleiben. In diesem Jahr hat NVIDIA die zweite Version seines Variable Rate Supersampling (VRSS 2) vorgestellt, das die Tobii Spotlight Technologie nutzt. Die beiden Technologien arbeiten zusammen, um dem NVIDIA-Treiber Blickinformationen mit minimaler Latenz zur Verfügung zu stellen. So können Entwickler Anwendungen erstellen, die DFR ohne zusätzliche Codierung für jedes Gerät nutzen. Die daraus resultierenden stabilen und hohen Bildraten tragen dazu bei, die Schwellenwerte für Schwindelgefühle zu senken, die manche Menschen bei VR erleben.

Wie sieht es mit neuen Technologietrends im Bereich der Hardware aus? Und was unternimmt Tobii, um sicherzustellen, dass sich unsere Integrationsplattformen anpassen?

Bildqualität und Gewicht des Geräts tragen ebenfalls zur Tragbarkeit bei, was die Entwicklung und Einführung gefalteter Optiken (in der XR-Branche oft als Pancake-Linsen bezeichnet) vorantreibt, da ihr Formfaktor und ihre Bildqualität oft zu leichteren, weniger sperrigen Headsets führen als herkömmliche Fresnel-Linsen-Designs.

Um die Hersteller bei der Umstellung auf Pancake für kommerzielle Geräte zu unterstützen, hat Tobii XR einen Großteil seiner F&E-Arbeiten im Jahr 2021 auf die Entwicklung der Integrationsplattformen für Eye Tracking für diese neue Architektur verwendet. Unser Fokus lag auf einem kompakten Design, das die Integration ohne invasive Änderungen am Headset ermöglicht und den Ressourcenverbrauch minimiert. Wir haben eine Reihe von Implementierungen in der Entwicklung und freuen uns darauf, über sie im Detail zu sprechen, sobald sie eingeführt werden.

Die andere wichtige Hardware-Entwicklung ist die Einführung von Eye Tracking in kommerziellen Headsets. Letztes Jahr (2021) hatten wir zwei große Veröffentlichungen von Geräten, die von Haus aus mit unserem Eye Tracking ausgestattet sind - das Pico Neo 3 Pro Eye, das ich bereits erwähnt habe, und das HP Reverb G2 Omnicept Edition. Der Erfolg von Pico verweist auf die Nachfrage nach eigenständigen Geräten und der von HP auf den Bedarf an zusätzlichen Sensoren. Und dann ist da noch die Partnerschaft, die wir mit Pimax angekündigt haben, die den Verbrauchern das volle Potenzial des Metaverse erschließen wird. Aus der Sicht von Tobii würde ich sagen, dass unser Designansatz, der sicherstellt, dass unsere Technologie dem Prinzip "Jeder, überall, jedes Gerät" gerecht wird, ein entscheidendes Unterscheidungsmerkmal für Hersteller ist, die Eye Tracking in Verbrauchergeräte einbetten wollen.

Die Ankündigungen von Meta und Sony Playstation zeigen, dass Eye Tracking Teil der nächsten Generation von Consumer-Headsets sein wird, und ich glaube, dass dies bald der Fall sein wird.

Worin sehen Sie die größte Herausforderung bei der Anwendung der Eye Tracking-Technologie in XR-Geräten für Verbraucher?

Das bringt uns näher zu dem, was ich gerade über Systeme gesagt habe, die dem Prinzip "Jeder, überall, jedes Gerät" (die drei E's) gerecht werden. Denn wie Sie wissen, ist es relativ einfach, ein Eye Tracking-System zu entwickeln, das in einer kontrollierten Umgebung funktioniert, aber eines, das den drei E's gerecht wird, ist es nicht. Wir arbeiten seit über zwei Jahrzehnten daran, eine funktionierende Lösung zu entwickeln, die unterschiedliche Augenformen, Farben, Netzhautreflexionen, Sehkorrekturen usw. berücksichtigt. Für den Verbraucherbereich geht es jedoch nicht nur darum, eine Abdeckung von 95 % der Bevölkerung zu erreichen, sondern auch darum, eine robuste Lösung zu liefern, die in der Großproduktion reproduzierbar ist. Wenn Sie mehr darüber lesen möchten, wie wir das geschafft haben, lesen Sie Andreas' Beitrag über die Bedeutung der Entwicklung universeller Technologien in seinem Beitrag über die Entmystifizierung des Eye Tracking für XR .

Und welche Eye Tracking Anwendungen werden Ihrer Meinung nach als erste den Sprung ins Metaversum schaffen?

Nun, ich würde sagen, es sind die üblichen Verdächtigen: Gesundheitswesen und Wohlbefinden, Zusammenarbeit, Spiele, Soziales, Bildung und simulationsbasierte Schulungen. Ich würde jedoch sagen, dass Gesundheitswesen und Wohlbefinden die Spitzenreiter im Unternehmenssektor sind. Ich sage das, weil wir im Jahr 2021 ein gesteigertes Interesse an Tobii Ocumen feststellen konnten - unserem Analyse-Toolkit für die Aufzeichnung, Organisation und Analyse des menschlichen Verhaltens, das für diese Art von fortschrittlichen Anwendungen erforderlich ist.

Erinnern Sie sich, als wir uns mit Scott Anderson von SyncThink trafen, um den Schlüssel zur Skalierbarkeit zu finden , und er darüber sprach, dass sie eine Anwendung sind, die auf die perfekte Hardware wartet? Ich denke, wir können davon ausgehen, dass es mehr Anwendungen dieser Art geben wird, die auf die richtige Hardware und Eye Tracking-Signale warten. Und unsere Partner bei REACT Neuro und Apeiron Life haben sich ernsthaft mit der Bedeutung der kognitiven Leistungsfähigkeit über Jahrzehnte hinweg auseinandergesetzt. Wie Dr. Martin betont, beschränkt sich das Wohlbefinden nicht mehr nur auf körperliche Betätigung und richtige Ernährung, sondern es geht auch darum, den kognitiven Abbau zu verhindern.

Auf der Verbraucherseite werden soziale Anwendungen und Spiele angesichts des derzeitigen Interesses und der Entwicklung der Plattformen wie ein Hockeyschläger wachsen. Ich denke auch, dass dies die Bereiche sind, in denen die Verbraucher das Metaverse am meisten schätzen werden. Für Tobii bedeutet dies, dass wir weiterhin eng mit Headset-Herstellern, Entwicklern und Content-Erstellern zusammenarbeiten werden, um Funktionen wie Präsenz, realistische Avatare, intuitive Benutzeroberflächen und biometrische Authentifizierung in das Metaverse zu bringen.

Bevor wir zum Schluss kommen, Johan, möchte ich Sie noch etwas zu Standards und der Notwendigkeit von OpenXR fragen.

Eine der effektivsten Möglichkeiten, die plattformübergreifende Flexibilität zu fördern, sind offene Standards, da sie dazu beitragen, die Bindung an einen bestimmten Anbieter und zeitaufwändige Geräteanpassungen zu verhindern. Aber sie ermöglichen auch die Zusammenarbeit zwischen großen Technologie- und Nischenanbietern. Und wie Sie wissen, hat OpenXR bereits 2020 eine Erweiterung des Standards für Eye Tracking veröffentlicht. Worauf wir uns dieses Jahr freuen können, ist die Implementierung des Standards in kommerzielle Headsets und unterstützende Lösungen wie die Microsoft Windows MR-Plattform.

Zusammenfassend, Johan, was können wir im Jahr 2022 erwarten? Wie wird Tobii einen Mehrwert für die Nutzer des Metaversums schaffen?

Für mich geht es um Eye Tracking in jedem Gerät, was integrierte Technologien wie die unsere erfordert, um dem Prinzip "Jeder, überall, jedes Gerät" gerecht zu werden. Wir werden weiterhin eine Vielfalt an Gerätetypen sehen, mit Arbeitspferden für Simulationsumgebungen, aber der Haupttrend geht zu ungebundenen, leichten Headsets. Für Entwickler bietet das Metaverse eine solide Plattform für Storytelling und neue Anwendungen. Es ist zu erwarten, dass wir einige frühe Prosumer-Beispiele sehen werden, aber wie bei den meisten aufkommenden Lösungen wird die erste Erfahrung wahrscheinlich etwas fragmentiert sein. Es wird viele kollaborative Anwendungen geben, die Unternehmen dabei helfen, organisatorische Grenzen zu überwinden und die durch Zeit- und Raumbeschränkungen entstandenen Silos zu beseitigen. Ich denke, wir haben mit VirtualRetail.io und der Art und Weise, wie sie arbeiten, bereits ein gutes Beispiel dafür.

Für die Verbraucher wird es interessant sein zu sehen, wie die Menschen auf Metas Horizon reagieren, nachdem es die Beta-Phase hinter sich gelassen hat und nun für eine breitere Öffentlichkeit freigegeben wird. Wir werden noch nicht gleichberechtigt sein, aber wir werden verbesserte Geräte mit Eye Tracking und eine Zunahme von authentischen Avataren, realistischem Augenkontakt, einfach zu bedienenden Schnittstellen und verbessertem Gameplay sehen.

Großartige Zusammenfassung, Johan. Ich danke dir.

Vielen Dank, Maggie. Es war schön, dich wieder persönlich zu sehen, aber jetzt geht es zurück zur virtuellen Welt.