Les trois technologies les plus recherchées dans un seul casque

Quels sont, selon vous, les composants et les fonctions qu'il est le plus important de développer, d'améliorer et d'intégrer pour que l'adoption du XR se généralise ?

Selon l'enquête 2019 sur l'industrie de la RV, les trois principaux composants et fonctions qui favoriseront l'adoption de la RV sont 1) le confort et la facilité d'utilisation du casque, 2) le champ de vision et 3) l'eye tracking. Le design du dernier casque VR de HP, le HP Reverb G2 Omnicept Edition, répond à ces trois critères. Avec un champ de vision de 114 degrés, un Eye tracking, un capteur PPG de surveillance de la fréquence cardiaque et une caméra faciale pour capturer les mouvements des lèvres, je pense que ce casque est une représentation claire de la RV de la prochaine génération.

Fourni sur un casque déjà fantastique - HP Reverb G2 - l'Omnicept Edition est un casque commercial capable de capturer des informations impartiales, permettant des applications VR avancées dans la formation, le bien-être, la conception et la collaboration.

En tant que directeur de la gestion des produits de Tobii pour l'équipementier XR, le projet de développement de ce casque a été une expérience formidable, car il m'a permis de travailler en étroite collaboration avec HP. L'objectif de mon équipe était d'intégrer notre plateforme d'Eye tracking Tobii VR4, en améliorant le casque avec la technologie d'eye tracking de Tobii et en assurant la fusion avec les autres nouveaux capteurs.

Dans ce billet, je partage une partie de la réflexion qui sous-tend ce nouveau casque exceptionnel, les raisons pour lesquelles il est pertinent aujourd'hui, ainsi que certaines réflexions et expériences des personnes avec lesquelles j'ai collaboré chez HP - Henry Wang (chef de produit) et Lauren Domingo (ingénieur logiciel de terrain).

Générer des avis impartiaux

L'un des éléments essentiels à la transformation numérique et à l'optimisation opérationnelle (Industrie 4.0) est la présence de données significatives en temps réel. Pour répondre au besoin de données, presque tout est équipé de capteurs - des dispositifs discrets qui génèrent discrètement des trillions de points de données impartiaux. Fer de lance de HP Reverb G2 Omnicept Edition, la prochaine génération de casques VR comprendra des capteurs qui créent de nouvelles entrées pour le développement d'applications.

Lauren et Henry Comment voyez-vous l'évolution du monde des capteurs ? Le HP Reverb G2 Omnicept Edition établit une nouvelle norme, mais comment les casques évolueront-ils à partir de maintenant ?

Nous sommes convaincus des avantages que les informations fournies par les capteurs apportent à la RV. Ces types de fonctions basées sur des capteurs seront standard sur les casques d'entreprise. Par exemple, l'Eye tracking nous apporte des données sur la pupillométrie et la dilatation, et le PPG nous donne la fréquence cardiaque. La caméra faciale est en quelque sorte une première dans la RV. Elle nous permet de capturer la partie inférieure du visage, ce qui, avec les données sur le regard issues de l'eye tracking, aidera les ISV à développer des avatars réalistes.

Acquérir des compétences spécialisées

L'un des effets secondaires de l'industrie 4.0, avec son optimisation de la productivité et son automatisation, est une évolution constante des compétences requises et un besoin persistant de rééducation. Une étude menée par l'Université du Maryland aux États-Unis a conclu que les taux de rétention de l'information sont plus élevés pour l'enseignement virtualisé que pour l'apprentissage traditionnel sur ordinateur. Je peux comprendre cela car l'immersion et le réalisme de certaines expériences de RV rendent l'apprentissage passionnant et mémorable. L'immersion dans la RV me permet de me concentrer sur la tâche, et son authenticité m'aide à acquérir une compréhension pratique des nouveaux concepts. En ajoutant le mouvement physique et l'amplitude des mouvements, la RV peut m'aider, par exemple, à développer la dextérité requise pour de nouvelles tâches.

Lorsqu'il s'agit de compétences spécialisées, comme les procédures chirurgicales ou la gestion de situations stressantes, il semble que les personnes qui s'entraînent avec la RV commettent moins d'erreurs que les personnes formées par des moyens traditionnels.

Lauren et Henry La formation en RV est l'un des quatre domaines clés identifiés pour le développement de ce casque. Pouvez-vous nous parler du retour d'information fourni par les données des capteurs et nous expliquer pourquoi il est intéressant pour la formation dans la RV ?

Chaque capteur apporte ses propres avantages à la RV, mais avec le HP Reverb G2 Omnicept SDK, il est possible de combiner les entrées à un niveau plus élevé, ce qui permet d'obtenir une charge cognitive en sortie. La charge cognitive est mieux exploitée par les applications de formation, telles que la formation des pilotes, ou l'apprentissage de la gestion des situations d'urgence telles qu'une fuite de gaz. La charge cognitive vous permet d'adapter la formation, par exemple en ajoutant plus de contexte à une situation ou en permettant à l'utilisateur de revenir en arrière et d'essayer quelque chose de plus simple. Fournir aux développeurs les données nécessaires pour garantir la réussite de la formation des employés a été l'un de nos moteurs de motivation. Le retour d'information des capteurs et l'Eye tracking fournissent les données permettant d'évaluer les performances de la formation, de déterminer si une personne a acquis les connaissances requises, de connaître ses réactions, de tirer le meilleur parti de chaque minute de formation, de maximiser la productivité en replaçant l'humain au centre. Pas de taille unique. Mais personnalisée.

Exploiter les réactions des utilisateurs

La fusion des capteurs distingue le HP Reverb G2 Omnicept Edition de tous les autres casques. Les données agrégées des capteurs aideront les développeurs d'applications à personnaliser l'expérience de RV en exploitant les réponses naturelles de l'utilisateur, éliminant ainsi les obstacles et l'appréhension que certaines personnes associent à la réalité virtuelle/mixte.

Nous ne nous en rendons pas toujours compte, mais nous dépassons généralement notre capacité à traiter de nouvelles informations dans des situations peu familières. Avec la pratique, nous développons une certaine familiarité et notre charge cognitive tombe à des niveaux gérables. La RV offre un espace contrôlé pour s'exercer - un environnement réaliste et sûr où nous pouvons répéter, apprendre et minimiser les erreurs.

Lauren et Henry Pourriez-vous nous expliquer pourquoi vous avez choisi d'inclure l'eye tracking dans ce casque ?

Nous commencions à voir une montée en puissance de nouveaux cas d'utilisation, en particulier dans l'espace entreprise, où l'eye tracking serait une technologie nécessaire pour pouvoir contextualiser les expériences. Et honnêtement, nos clients nous l'ont demandé. Depuis que nous avons annoncé la HP Reverb G2 en mai dernier, l'une des questions les plus fréquentes que l'on nous pose est de savoir s'il y aura une version eye tracking. Nous sommes ravis de pouvoir répondre par l'affirmative à cette question, et plus encore !

XR - un catalyseur pour la collaboration numérique

Le passage soudain au travail à domicile a contribué à atténuer l'impact économique du COVID-19. Le lancement de l'édition HP Reverb H2 Omincept témoigne de la capacité de l'homme à collaborer dans de nouvelles circonstances. Ces deux derniers mois ont mis en évidence la nécessité de moderniser et d'améliorer la collaboration virtuelle. Les estimations varient, mais jusqu'à 40 % des emplois américains pourraient être basés à domicile. Après la pandémie, il semble probable qu'environ 20 à 30 % (contre environ 5 % avant la pandémie) des travailleurs continueront à travailler à domicile.

Ce changement a créé une opportunité pour le XR de fournir un ensemble avancé d'outils de collaboration numérique qui intègrent les expressions faciales, le langage corporel et le ton de la voix. Grâce aux données permettant d'interpréter les mouvements musculaires et les indices visuels pour une interaction naturelle, HP Reverb H2 Omnicept Edition place la collaboration VR sur une nouvelle trajectoire.

Dans un scénario de collaboration, où des personnes travaillent ensemble sur un projet, par exemple un modèle de voiture, si vous pouvez voir que vous et vos collègues regardez tous la même chose, cela rend l'expérience beaucoup plus naturelle. Nous nous fions au langage corporel et au contact visuel, en particulier, pour nous aider à interpréter les situations, mais lire le visage de quelqu'un n'était pas vraiment possible dans la RV jusqu'à présent. Aujourd'hui, nous permettons aux développeurs de faire le premier pas vers l'émulation de l'expression, ce qui pourrait faire de la RV le meilleur moyen de collaborer en dehors du face-à-face.

Développement pratique

Pour que l'Eye tracking et d'autres capteurs communiquent et génèrent des données brutes impartiales, il n'est pas rare que les ingénieurs mettent en œuvre des solutions de contournement en combinant manuellement des technologies existantes. Avec HP Reverb G2 Omnicept Edition, ils n'ont plus besoin de le faire. Ce casque permet d'obtenir des informations avec un appareil commercial sans avoir à recourir à de telles solutions de contournement.

Lauren et Henry Pourriez-vous nous dire à quel point il est facile de commencer à développer des applications qui exploitent les fonctionnalités du casque HP Reverb G2 Omnicept Edition ?

Le retour d'information de nos premiers développeurs montre qu'il faut environ 20 minutes pour mettre en place la plateforme et commencer à en recevoir des données. Bien entendu, il faudra un peu plus de temps aux développeurs pour créer de nouvelles applications. Nous avons donc créé une base de connaissances, des articles de blog et un portail de développement pour aider les développeurs à comprendre ce qu'ils peuvent faire avec la charge cognitive, mais nous voulons aussi qu'ils fassent preuve de créativité. Nous sommes impatients de voir ce que les développeurs vont faire avec notre nouveau casque et les connaissances qu'il offre.

Rendu dynamique avec fovéation

En ce moment, nous comparons la Techonologie de rendu graphique fovéal de Tobii sur le HP Reverb G2 Omnicept Edition. Les premiers essais montrent des résultats remarquables, avec des économies moyennes sur la charge d'ombrage avoisinant les 66 %¹. Ce niveau d'économie offre aux développeurs l'opportunité d'améliorer la clarté visuelle et les performances des applications là où c'est le plus nécessaire.

Ce benchmark étaye également notre affirmation sur le lien étroit entre l'avantage du rendu fové et l'augmentation de la résolution de l'écran.

Lauren et Henry Techonologie de rendu graphique fovéal, que pensez-vous de notre technologie de rendu fovéal ?

La RV sur PC reste le meilleur moyen d'obtenir l'expérience de RV la plus immersive, en toute fidélité, avec toutes les textures et le nombre de polygones que vous souhaitez. Nous pouvons désormais améliorer cette expérience grâce au rendu fovéal. Et, bien sûr, l'Eye tracking et la technologie Spotlight de Tobii sont des éléments facilitateurs. Elles nous permettent de libérer des ressources sur le GPU de l'utilisateur, et les développeurs peuvent ensuite les utiliser là où c'est le plus important. Nous aurons un plugin dans notre SDK pour aider à former nos développeurs à l'utilisation du rendu fovéal.

Bien que ce billet ne soit pas une critique du HP Reverb G2 Omnicept Edition, je n'ai pas pensé qu'il serait complet sans quelques faits. En termes de forme, ce casque reprend les mêmes composants de base que le HP Reverb G2, avec le même écran ultra net et les lentilles de pointe de Valve. Ce qui distingue ce casque, c'est la fusion des capteurs, qui agrège les données brutes de la plateforme intégrée d'Eye tracking Tobii VR4, avec des capteurs PPG et de caméra faciale pour fournir une analyse de la charge cognitive.

Derniers commentaires de Lauren et Henry :

La nouvelle génération XR a pour but d'enrichir l'expérience VR, au-delà de l'immersion. Nous nous dirigeons vers une interaction bidirectionnelle, des expériences adaptatives et un retour d'information à l'entreprise, en fournissant des informations sur ce qui se passe au cours de l'expérience. Et nous créons un précédent en matière de sécurité et de respect de la vie privée.

En savoir plus sur l' eye tracking de Tobii et le HP Reverb G2 Omnicept Edition.