Die drei meistgefragten Technologien in einem einzigen Headset

Welche Komponenten und Funktionen müssen Ihrer Meinung nach am dringendsten entwickelt, verbessert und integriert werden, damit XR eine größere Verbreitung findet?

Laut der 2019 XR Industry Survey sind die drei wichtigsten Komponenten und Funktionen, die die XR-Akzeptanz vorantreiben werden, 1) Komfort und Benutzerfreundlichkeit des Headsets, 2) Sichtfeld und 3) Eye Tracking. Das Design des neuesten VR-Headsets von HP, der HP Reverb G2 Omnicept Edition, erfüllt alle drei Punkte. Mit einem Sichtfeld von 114 Grad, Eye Tracking, PPG-Sensor zur Überwachung der Herzfrequenz und einer Gesichtskamera zur Erfassung von Lippenbewegungen ist dieses Headset meiner Meinung nach eine klare Darstellung der nächsten VR-Generation.

Die Omnicept Edition wird auf einem bereits fantastischen Headset - dem HP Reverb G2 - geliefert und ist ein kommerzielles Headset, das in der Lage ist, unvoreingenommene Erkenntnisse zu erfassen und fortschrittliche VR-Anwendungen in den Bereichen Training, Wellness, Design und Zusammenarbeit zu ermöglichen.

Als Tobii's Director of Product Management für XR OEM war das Entwicklungsprojekt für dieses Headset eine großartige Erfahrung, denn es ermöglichte mir eine enge Zusammenarbeit mit HP. Das Ziel meines Teams war es, unsere Tobii VR4 Eye Tracking Plattform zu integrieren, das Headset mit Tobii Eye Tracking Technologie zu verbessern und die Fusion mit den anderen neuen Sensoren sicherzustellen.

In diesem Beitrag teile ich einige der Überlegungen, die hinter diesem außergewöhnlichen neuen Headset stehen, und warum es jetzt so wichtig ist, zusammen mit einigen Gedanken und Erfahrungen der Leute, mit denen ich bei HP zusammengearbeitet habe - Henry Wang (Produktmanager) und Lauren Domingo (Software Field Engineer).

Erarbeitung unvoreingenommener Meinungen

Eine der Grundvoraussetzungen für die digitale Transformation und betriebliche Optimierung (Industrie 4.0) sind aussagekräftige Echtzeitdaten. Um den Bedarf an Daten zu decken, sind fast alle Dinge mit Sensoren ausgestattet - diskrete Geräte, die im Stillen Billionen von unverfälschten Datenpunkten erzeugen. Angeführt von der HP Reverb G2 Omnicept Edition wird die kommende Generation von VR-Headsets Sensoren enthalten, die neue Inputs für die Entwicklung von Anwendungen liefern.

Lauren und Henry Wie wird sich Ihrer Meinung nach die Welt der Sensoren weiterentwickeln? HP Reverb G2 Omnicept Edition setzt einen neuen Standard, aber wie werden sich die Headsets weiterentwickeln?

Wir glauben an die Vorteile, die Sensoren für VR bieten. Diese Art von sensorbasierten Funktionen werden bei Unternehmens-Headsets zum Standard gehören. Eye Tracking liefert uns zum Beispiel Daten über Pupillometrie und -erweiterung, und das PPG liefert uns die Herzfrequenz. Die Gesichtskamera ist eine Art Premiere in der VR. Sie ermöglicht es uns, den unteren Teil des Gesichts zu erfassen, was zusammen mit den Blickdaten aus dem Eye Tracking den ISVs helfen wird, realistische Avatare zu entwickeln.

Erwerb von Fachkenntnissen

Einer der Nebeneffekte der Industrie 4.0 mit ihrer Produktivitätsoptimierung und Automatisierung ist ein ständiger Wandel der Qualifikationsanforderungen und ein ständiger Bedarf an Nachschulung. Eine von der University of Maryland in den USA durchgeführte Studie kam zu dem Schluss, dass die Behaltensrate von Informationen bei virtualisierter Bildung höher ist als bei traditionellem computerbasiertem Lernen. Ich kann das nachvollziehen, denn die Immersion und der Realismus einiger VR-Erfahrungen machen das Lernen spannend und einprägsam. Das Eintauchen in die VR ermöglicht es mir, mich auf die Aufgabe zu konzentrieren, und ihre Authentizität hilft mir, ein praktisches Verständnis für neue Konzepte zu erlangen. Durch das Hinzufügen von körperlicher Bewegung und Bewegungsumfang kann VR mir beispielsweise dabei helfen, die für neue Aufgaben erforderliche Geschicklichkeit zu entwickeln.

Wenn es um spezielle Fertigkeiten wie chirurgische Eingriffe oder die Bewältigung von Stresssituationen geht, machen Menschen, die mit VR trainieren, offenbar weniger Fehler als Menschen, die auf herkömmliche Weise ausgebildet werden.

Lauren und Henry Das Training ist einer der vier Schlüsselbereiche, die für die Entwicklung dieses Headsets identifiziert wurden. Können Sie über das Feedback sprechen, das die Sensordaten liefern, und warum es für das Training in der VR so interessant ist?

Jeder Sensor bringt seine eigenen Vorteile für VR mit sich, aber mit dem HP Reverb G2 Omnicept SDK ist es möglich, die Eingaben auf einer höheren Ebene zu kombinieren, so dass wir eine kognitive Lastausgabe erhalten. Die kognitive Belastung lässt sich am besten bei Anwendungen für die Ausbildung nutzen, z. B. bei der Ausbildung von Piloten oder beim Erlernen des Umgangs mit Notfallsituationen wie einem Gasleck. Mithilfe der kognitiven Belastung können Sie das Training anpassen, indem Sie beispielsweise mehr Kontext zu einer Situation hinzufügen oder dem Benutzer die Möglichkeit geben, einen Rückzieher zu machen und etwas Einfacheres zu versuchen. Die Bereitstellung von Daten für Entwickler, um sicherzustellen, dass die Mitarbeiterschulung erfolgreich ist, war einer unserer Motivationsfaktoren. Sensorfeedback und Eye Tracking liefern die Daten, um die Schulungsleistung zu messen, um zu beurteilen, ob eine Person das erforderliche Wissen erworben hat, wie ihre Reaktionen sind, um das Beste aus jeder Minute der Schulung zu machen und die Produktivität zu maximieren, indem der Mensch wieder in den Mittelpunkt gestellt wird. Keine Einheitsgröße für alle. Sondern personalisiert.

Nutzung von Nutzerreaktionen

Die Sensorfusion hebt die HP Reverb G2 Omnicept Edition von allen anderen Headsets ab. Aggregierte Sensordaten helfen Anwendungsentwicklern dabei, das VR-Erlebnis zu personalisieren, indem sie die natürlichen Reaktionen des Benutzers nutzen und so die Barrieren und Ängste beseitigen, die manche Menschen mit virtueller und gemischter Realität verbinden.

Wir sind uns dessen vielleicht nicht immer bewusst, aber in der Regel überfordern wir uns selbst, wenn wir in ungewohnten Situationen neue Informationen verarbeiten müssen. Durch Übung entwickeln wir Vertrautheit, und unsere kognitive Belastung sinkt auf ein überschaubares Maß. VR bietet einen kontrollierten Raum zum Üben - eine realistische und sichere Umgebung, in der wir wiederholen, lernen und Fehler minimieren können.

Lauren und Henry Können Sie uns einen Einblick geben, warum Sie Eye Tracking in dieses Headset eingebaut haben?

Wir sahen einen Anstieg neuer Anwendungsfälle, insbesondere im Unternehmensbereich, bei denen Eye Tracking eine notwendige Technologie für die Kontextualisierung von Erlebnissen sein würde. Und ganz ehrlich, unsere Kunden haben danach gefragt. Seit wir im Mai den HP Reverb G2 angekündigt haben, war eine der häufigsten Fragen, die uns gestellt wurden, ob es eine Eye Tracking-Version geben wird. Es ist großartig, dass wir diese Frage jetzt mit Ja beantworten können - und noch mehr!

XR - ein Katalysator für die digitale Zusammenarbeit

Der plötzliche Wechsel zur Heimarbeit hat dazu beigetragen, die wirtschaftlichen Auswirkungen von COVID-19 abzumildern. Der Zeitpunkt der Einführung der HP Reverb H2 Omincept Edition ist ein Beweis für die menschliche Fähigkeit, unter neuen Bedingungen zusammenzuarbeiten. Und die letzten Monate haben deutlich gemacht, dass die virtuelle Zusammenarbeit modernisiert und verbessert werden muss. Es gibt unterschiedliche Schätzungen, aber bis zu 40 % der Arbeitsplätze in den USA könnten von zu Hause aus erledigt werden. Nach der Pandemie werden wahrscheinlich 20 bis 30 % der Arbeitnehmer weiterhin von zu Hause aus arbeiten (vor der Pandemie waren es nur 5 %).

Diese Verschiebung hat XR die Möglichkeit gegeben, ein fortschrittliches Set an digitalen Kollaborationstools zu liefern, die Mimik, Körpersprache und Tonfall mit einbeziehen. Die HP Reverb H2 Omnicept Edition ist mit Daten zur Interpretation von Muskelbewegungen und visuellen Hinweisen für eine natürliche Interaktion ausgestattet und bringt die VR-Zusammenarbeit auf einen neuen Weg.

In einem Szenario der Zusammenarbeit, in dem Menschen gemeinsam an einem Entwurf arbeiten, z. B. an einem Automodell oder ähnlichem, wird die Erfahrung viel natürlicher, wenn man sehen kann, dass man selbst und die Kollegen alle auf dasselbe schauen. Wir verlassen uns vor allem auf die Körpersprache und den Blickkontakt, um Situationen zu verstehen, aber das Gesicht einer Person zu lesen, war in VR bisher nicht wirklich möglich. Heute ermöglichen wir es den Entwicklern, diesen ersten Schritt in Richtung Emulation der Mimik zu machen, wodurch VR möglicherweise zur besten Möglichkeit der Zusammenarbeit außerhalb des persönlichen Kontakts wird.

Günstige Entwicklung

Damit Eye Tracking und andere Sensoren miteinander kommunizieren und unverfälschte Rohdaten erzeugen können, müssen Ingenieure nicht selten Umgehungslösungen implementieren, indem sie vorhandene Technologien manuell kombinieren. Mit der HP Reverb G2 Omnicept Edition ist dies nicht mehr nötig. Mit diesem Headset ist es möglich, mit einem handelsüblichen Gerät ohne solche Umgehungen Erkenntnisse zu gewinnen.

Lauren und Henry Können Sie uns sagen, wie einfach es ist, Anwendungen zu entwickeln, die die Funktionalität des HP Reverb G2 Omnicept Edition Headsets nutzen?

Die Rückmeldungen unserer Early-Access-Entwickler zeigen, dass es etwa 20 Minuten dauert, um die Plattform einzurichten und Daten von ihr zu erhalten. Natürlich wird es für Entwickler etwas länger dauern, neue Anwendungen zu erstellen. Deshalb haben wir eine Wissensdatenbank, Blogbeiträge und ein Entwicklungsportal zusammengestellt, um den Entwicklern zu zeigen, was sie mit Cognitive Load machen können, aber wir wollen auch, dass sie kreativ sind. Wir sind gespannt, was Entwickler mit unserem neuen Headset und den damit verbundenen Erkenntnissen anstellen werden.

Dynamisches Foveated Rendering

Derzeit testen wir die Tobii Spotlight-Technologie für foveated Rendering auf dem HP Reverb G2 Omnicept Edition. Die ersten Versuche zeigen bemerkenswerte Ergebnisse, mit durchschnittlichen Einsparungen bei der Shading-Last von annähernd 66%¹. Diese Einsparungen bieten Entwicklern die Möglichkeit, die visuelle Klarheit und die Leistung von Anwendungen dort zu verbessern, wo sie am dringendsten benötigt werden.

Dieser Benchmark untermauert auch unsere Behauptung, dass eine enge Kopplung zwischen den Vorteilen des foveated rendering und der steigenden Bildschirmauflösung besteht.

Lauren und Henry Was halten Sie von unserer foveation technology?

Nun, PC-basierte VR ist immer noch der beste Ort, um die immersivste VR-Erfahrung zu bekommen, mit voller Wiedergabetreue, mit allen Texturen und mit der Art von Polygonzahlen, die Sie sich wünschen würden. Jetzt können wir dieses Erlebnis mit foveated rendering noch weiter verbessern. Und natürlich sind Eye Tracking und die Tobii Spotlight Technology die Grundvoraussetzungen dafür. Damit können wir Ressourcen auf der GPU des Benutzers freisetzen, und die Entwickler können diese Ressourcen dann dort einsetzen, wo es am wichtigsten ist. Wir werden ein Plugin in unserem SDK haben, das unseren Entwicklern hilft, das foveated Rendering zu nutzen.

Dieser Beitrag ist zwar kein Testbericht über das HP Reverb G2 Omnicept Edition, aber ich dachte, er wäre nicht vollständig ohne ein paar Fakten. In Bezug auf die Form besteht dieses Headset aus denselben Kernkomponenten wie das HP Reverb G2, mit demselben ultrascharfen Display und den branchenführenden Linsen von Valve. Das Besondere an diesem Headset ist die Sensorfusion, die Rohdaten der integrierten Tobii VR4 Eye Tracking Plattform mit PPG- und Gesichtskamerasensoren zusammenführt, um eine Analyse der kognitiven Belastung zu ermöglichen.

Abschließende Kommentare von Lauren und Henry:

Bei der nächsten Generation von XR geht es darum, das VR-Erlebnis über die Immersion hinaus zu erweitern. Wir bewegen uns in Richtung Zwei-Wege-Interaktion, adaptive Erlebnisse und Rückmeldungen an das Unternehmen, die Aufschluss darüber geben, was während des Erlebnisses passiert. Und wir setzen einen Präzedenzfall dafür, wie man dies unter Berücksichtigung von Sicherheit und Datenschutz erreichen kann.

Erfahren Sie mehr über das Eye Tracking von Tobii und die HP Reverb G2 Omnicept Edition .