Eyes on Qualcomm: What will the future of XR bring?
Brian Vogelsang, Senior Director of Product Management for Qualcomm Technologies’ XR business group, discusses trends driving the XR industry forward.
Ich glaube, dass wir in den kommenden Jahren einen deutlichen Anstieg bei der Einführung von VR- und AR-Technologien erleben werden, sowohl im Unternehmenssektor als auch in der Verbraucherwelt. Intelligente Sensortechnologien wie Eye Tracking werden bei dieser Verbreitung eine grundlegende Rolle spielen. Und warum? Weil Eye Tracking die Geräteleistung verbessern und die Anforderungen an Bandbreite und Verarbeitung erheblich reduzieren kann. Aber auch, weil es zur Schaffung sinnvoller Benutzererfahrungen führt. Anwendungsentwickler, Lösungsanbieter und Nutzer erwarten Eye Tracking als Standard - eine Erwartung, die sich in der Ankündigung der ersten Erweiterung für Eye Tracking durch OpenXR widerspiegelt, die die plattform- und herstellerübergreifende Entwicklung erleichtert und die Markteinführungszeit verkürzt.
In diesem Beitrag fasse ich die fünf wichtigsten Faktoren zusammen, die die Zukunft von XR bestimmen, basierend auf aktuellen Innovationen und der Zusammenarbeit mit unseren XR-Partnern.
Beginnen wir mit HTC, einem Partner von Tobii, der das erste kommerzielle VR-HMD mit integriertem Eye Tracking auf den Markt gebracht hat. In seinem Beitrag Eyes on HTC: Enterprise use of XR is expanding - will XR also be the new home office interface? wirft Drew Bamford einen Blick auf die Zukunft der Arbeit und darauf, wie Unternehmen XR schnell evaluieren, um ihre Mitarbeiter zu vernetzen und zu schulen. Es ist klar, dass die Pandemie den Bedarf an effektiven Lösungen für die Remote-Zusammenarbeit erhöht hat, insbesondere an solchen, die lebensechte Erfahrungen liefern können.
Mit der Eye Tracking Technologie von Vive Sync und Tobii, die in das VIVE Pro Eye Headset integriert ist, ebnet HTC den Weg für eine äußerst realistische virtuelle Zusammenarbeit. Anwendungen, die auf diesem Headset laufen, können natürliche Kommunikationsfunktionen wie z. B. einen natürlichen Blickkontakt beinhalten, da das native Eye Tracking die notwendigen Daten liefert, um die Augenbewegungen einer Person in Echtzeit genau zu emulieren.
Deshalb wird Eye Tracking zur Standardausstattung aller VR-Headsets gehören, und die mit Eye Tracking entwickelten Funktionen werden in professionellen und privaten Anwendungen zur Grundlage werden. Denn ob man sich mit Kollegen trifft oder gegen einen virtuellen Gegner antritt, es hat etwas zutiefst Befriedigendes, wenn man sich gegenseitig ansehen kann und nicht wie ein Zombie in die Ferne zu starren scheint.
Im Jahr 2020 kündigte Pico das Pico Neo2 Eye an, das weltweit erste kommerzielle, eigenständige VR-Headset mit nativem Eye Tracking. In Karen Zu's Beitrag Eyes on Pico: training and healthcare will accelerate enterprise XR adoption zeigt sie auf, wie Headsets, die mit Sensortechnologien wie Eye Tracking ausgestattet sind, neue Möglichkeiten in Unternehmen und im Gesundheitswesen schaffen - einschließlich Schmerzmanagement durch Ablenkung und Therapien wie Phobiebehandlung.
Bestimmte Arten von Gesundheitsdienstleistungen müssen nicht persönlich erbracht werden, und die Deregulierung hat in einigen Regionen zu einem Anstieg der Telegesundheitsdienste geführt. Aber es war das Bedürfnis nach sozialer Distanz im Jahr 2020, das die Akzeptanz des Gesundheitswesens aus der Ferne beschleunigt hat. Es ist auch wahrscheinlich, dass das Interesse der Patienten an der Online-Gesundheitsversorgung nach der Pandemie weiter anhalten wird, weil sie bequem ist und einen schnellen Zugang zur Versorgung ermöglicht - wichtige Faktoren insbesondere für Menschen mit Behinderungen und Menschen, die in abgelegenen Regionen und überfüllten Städten leben, wo sich Eye Tracking perfekt für eine verbesserte Anleitung und Unterstützung eignet.
XR ist ein Wegbereiter für die Telemedizin, da es die Versorgung an dem Punkt fördert, an dem sie benötigt wird (wo und wann auch immer), und den Anbietern im Gesundheitswesen kontinuierliches Feedback liefern kann. Ausgestattet mit Eye Tracking liefern XR-Geräte unvoreingenommene Beobachtungen der Augengesundheit und eröffnen damit Möglichkeiten für Dienstleistungen im Zusammenhang mit der Erkennung und Überwachung von neurodegenerativen Erkrankungen und Traumata, der Augenheilkunde und der Therapie.
Der jüngste XR-Partner von Tobii ist HP. Bereits im September 2020 kündigte das Unternehmen die Veröffentlichung der HP Reverb G2 Omnicept Edition an. Mit integriertem Eye Tracking von Tobii ermöglicht dieses Headset hyper-personalisierte, ansprechende und adaptive VR-Erlebnisse für den Unternehmenseinsatz. In seinem Beitrag Eyes on HP: better HMDs, social interaction for work and life, and BYOD betont Peter Peterson die Bedeutung der Personalisierung. Er prognostiziert, dass XR-Headsets immer anpassungsfähiger werden und dass wir Gerätehersteller sehen werden, die sich auf bestimmte Märkte einstellen, je nachdem, wie man ein Headset tragen möchte, je nach Gesichtsgröße, Form und individuellen Bedürfnissen.
Die Personalisierung bietet Anwendungsentwicklern die Möglichkeit, neue Dienste und einzigartige Inhalte zu erstellen, die auf XR-Geräte ausgerichtet sind. Er spricht außerdem über weitere XR-Technologien und darüber, wie Software-Unternehmen und unabhängige Entwickler zusammenarbeiten werden, um plattformunabhängige Lösungen zu gewährleisten und das Ökosystem zu homogenisieren - was im Einklang mit Tobiis Arbeit zur Standardisierung des Kernstücks des Eye Tracking in OpenXR steht.
Qualcomm, einer unserer langjährigen XR-Partner, ist eines der bekanntesten Halbleitertechnologieunternehmen der Welt. Sie haben Tobii Eye Tracking in mehrere Generationen ihrer Referenzdesigns integriert - einschließlich des neuesten (2020) Tobii Eye Tracking im neuen Qualcomm Snapdragon XR2 5G Referenzdesign.
In seinem Beitrag "Eyes on Qualcomm: Was wird die Zukunft von XR bringen? Brian Vogelsang spricht über die Bedeutung eines Konzepts, das als Boundless XR bezeichnet wird. Dabei kann die geräteinterne Verarbeitung beispielsweise über eine 5G-Verbindung mit niedriger Latenz auf einen Edge- oder sogar einen Cloud-Server oder über Wi-Fi auf einen PC verlagert werden. Diese Art von nahtloser Konnektivität mit einer Split-Rendering-Architektur ist für die Einführung von VR und AR entscheidend, da sie hochwertige Grafiken und geräteunabhängige Verarbeitung unterstützt.
Tobii Spotlight for Foveated Transport nutzt Blicke, Optik und visuelle Points of Interest, um die Bandbreitenanforderungen in der Grafik-Rendering-Pipeline massiv zu reduzieren. Der erwartete Gewinn wird die Bereitstellung hochwertiger Grafiken über das gesamte Headset-Display (nicht nur in der Mitte) sicherstellen, den Benutzerkomfort verbessern und hochwertige Benutzererfahrungen über mobile Netzwerke gewährleisten, was zur Akzeptanz von mobiler VR beiträgt.
Mit Blick auf die nächsten 1-3 Jahre sehe ich einen massiven Anstieg der Leistung von XR-Geräten mit Eye Tracking als zentrales Designelement. Lösungen wie Tobii Spotlight Technology™ werden die Geräte verbessern, da sie eine effiziente Nutzung der grafischen Möglichkeiten und der Bandbreite in grenzenlos verbundenen HMDs unterstützen und natürliche Interaktion wie Blickkontakt und blickgesteuerte UI- und Interaktionsparadigmen unterstützen. Tobii bietet Eye Tracking-Plattformen für alle optischen Designs von XR-Hardware an, sei es eine Standard-VR-Fresnel-Linse, eine kompakte (Pancake-)Linse oder AR-Designs, um sich an unterschiedliche Bedürfnisse in verschiedenen Märkten anzupassen.
Natives Eye Tracking bietet eine Reihe von Analysemöglichkeiten, die von Anwendungen genutzt werden können, um bisher unlösbare Probleme zu lösen. Aus diesem Grund erwarte ich ein starkes Wachstum bei Anwendungen im Gesundheitswesen, in der Ausbildung, der Zusammenarbeit und der Forschung. Um dieser Erwartung gerecht zu werden, hat Tobii kürzlich Tobii Ocumen vorgestellt, eine erstklassige Eye Tracking-Lösung, die zwei Jahrzehnte Erfahrung und Fachwissen vereint, um die Entwicklung von speziellen VR-Anwendungen zu optimieren. Da Tobii Ocumen Beobachtungen auf hohem Niveau liefert, spart es Entwicklungszeit, verkürzt die Zeit bis zur Markteinführung von Anwendungen und ermöglicht es Entwicklern, ihre Innovationen auf erschwingliche Weise zu realisieren.
Der aktuelle Entwicklungsstand, die Innovationen der ISVs und die Investitionen der Headset-Hersteller, die ich in diesem Beitrag erwähnt habe, sind nur einige Anzeichen für die steigende Akzeptanz von XR-Technologien, wobei Grundlagentechnologien wie 5G und Edge Cloud nun Teil des XR-Ökosystems werden.