Eye tracking - rendre le métavers authentique

Il y a quelques mois, j'ai effectué un voyage aux États-Unis, mon premier depuis plus de 18 mois. Le but de cette visite était de rencontrer des clients, des partenaires et des collègues. Pour certains, il s'agissait de la première rencontre professionnelle en face à face depuis près de deux ans. L'expérience, et je ne suis sûrement pas le seul à le penser, a été un mélange de soulagement et d'enthousiasme. Après une si longue absence, la rencontre IRL a été ressentie comme une preuve du besoin humain de connexion. Cela m'a fait réfléchir aux technologies qui ont permis à certaines entreprises de continuer à fonctionner pendant la pandémie et à l'importance pour le monde de la technologie de continuer à faire évoluer ces solutions dans le sens de l'intuitivité et de l'authenticité de la connectivité humaine.

Pour ce billet, ma collègue Maggie et moi nous sommes assis pour discuter de l'état de la RX, du métavers, de ce que cela signifie pour tout le monde, et de la façon dont l'eye tracking y apportera un niveau d'authenticité.

Le métavers a récemment fait l'objet d'un grand battage médiatique, du moins dans certains secteurs de l'industrie technologique.

Alors, Johan, ma première question est la suivante : qu'est-ce que le métavers selon vous ? Quel est votre point de vue sur le sujet ?

Même s'il n'est pas nécessairement étiqueté comme tel, je pense que le métavers est en train de naître depuis un certain temps. Il a vu le jour parce que des personnes ont établi des liens innovants entre des technologies en constante évolution. Le métavers est un espace de réalité mixte (RM) où les gens peuvent se réunir pour travailler, jouer, collaborer et même gagner leur vie, soit en tant qu'eux-mêmes, soit en tant qu'avatar. Il s'agit d'un terrain de jeu égal auquel tout le monde peut accéder à partir de n'importe quel appareil, n'importe où. Les plateformes technologiques et les solutions métaverses résoudront les problèmes de temps et d'espace afin que les personnes se sentent authentiques et cohérentes lorsqu'elles sont réunies dans la RM.

Pourquoi pensez-vous que le métavers se développe aujourd'hui ? Pourquoi pas plus tôt, lorsque la réalité mixte n'était encore qu'une vision ?

Une grande partie du battage médiatique s'explique, bien sûr, par le fait que de grandes entreprises technologiques comme Meta (anciennement Facebook), Microsoft et NVIDIA utilisent le métavers pour décrire la convergence d'une série de technologies et, ce qui est peut-être plus important, pour raconter l'histoire aux consommateurs sans se perdre dans les détails. Les services en nuage, les réseaux étendus et les réseaux mobiles se sont établis au point de pouvoir prendre en charge des services complexes, gourmands en bande passante, avec des modèles économiques viables pour les opérateurs. Les appareils ont mûri et commencent à tenir leurs promesses d'immersion, leur adoption étant encore stimulée par des facteurs de forme de plus en plus réduits et des prix plus bas, ce qui crée de nouvelles demandes de contenu et offre aux développeurs un marché en expansion. Et lorsque vous réunissez tous ces points, vous obtenez le métavers et ce qu'il promet.

Qu'est-ce que le métavers a à voir avec nous, avec Tobii ? Pourquoi sommes-nous assis ici aujourd'hui pour en discuter ?

À mesure que le métavers évolue, nous assisterons à une hausse de la popularité des Eye tracker portables VR et AR en raison du niveau d'immersion qu'ils offrent. L'acoustique spatiale simulera le son de manière authentique afin que les gens puissent se trouver dans un espace MR et s'appuyer sur des indices auditifs pour interagir les uns avec les autres. Mais pour répondre à votre question, la technologie de Tobii permettra des connexions authentiques qui ne peuvent pas être réalisées autrement dans le métavers parce que nous fournissons un contact visuel réaliste et une compréhension de l'attention humaine - les éléments fondamentaux de la communication. Dès leur plus jeune âge, les enfants apprennent à suivre les signaux visuels, et environ 80 % des informations traitées par notre cerveau sont visuelles. La différence d'interprétation de l'intention est donc énorme lorsque l'on regarde une personne dans les yeux ou que l'on observe le mouvement de ses lèvres, par rapport à une personne que l'on regarde juste au-dessus de sa tête, par exemple. La communication dans le métavers ne sera donc possible que si les appareils sont équipés d'un système d'eye tracking.

Et puis il y a le problème des manettes. Elles ne sont pas nécessairement intuitives, pas plus que les claviers ou les souris d'ailleurs, mais nous avons fini par accepter ces modalités d'entrée comme moyen d'introduire des informations dans les systèmes. Mais pour garantir une expérience métaverse authentique, nous ne voulons pas agiter nos mains ou nos manettes de manière maladroite, en particulier dans un environnement de réalité augmentée. Dans la vie réelle, nous utilisons les gestes, la parole et le contact visuel pour montrer notre intention. Nous ferons de même dans le métavers. L'Eye tracking, qui capture le regard, les mouvements de la tête et les repères faciaux, permettra une authentification rapide ainsi qu'une communication intuitive tirant parti à la fois de la position de la tête et des repères visuels. Il est probable que le suivi des mains sans gants, qui est en train d'émerger, fera également partie du mélange, car il fournit encore une autre modalité d'entrée intuitive. L'eye tracking permettra d'utiliser des gestes simples et intuitifs en remplaçant le pointage et les gestes complexes par des glissements discrets (éventuellement avec des gants pour les climats froids).

Pour les personnes qui entrent dans le métavers avec des dispositifs de réalité augmentée, l'eye tracking est essentiel en raison des données supplémentaires qu'il fournit. Le type d'informations fournies par notre technologie aidera les développeurs à intégrer les objets virtuels dans le monde physique de manière transparente. Ainsi, l'eye tracking permettra de réduire la parallaxe entre les mondes réel et virtuel, ce qui rendra les expériences des utilisateurs agréables car elles sembleront authentiques et cohérentes. Cette technologie est également fondamentale pour le développement d'écrans multifocaux et de systèmes d'accommodation automatique.

Les appareils XR joueront un rôle important dans le métavers parce qu'ils permettent l'immersion, ce qui est essentiel pour avoir l'impression d'être dans un autre lieu et d'y participer pour de vrai. Alors pourquoi le confort est-il un tel problème ?

Les employés de bureau se sont habitués à utiliser plusieurs moniteurs et appareils, choisissant la solution la mieux adaptée à ce qu'ils ont à faire et à l'endroit où ils doivent le faire. De la même manière que l'ergonomie est essentielle à des conditions de travail durables, le confort est crucial pour le XR. Vous connaissez nos partenaires Pico, qui viennent de lancer la troisième génération de leur casque non relié qui inclut notre technologie d'Eye tracking, et vous savez qu'ils ont travaillé sans relâche sur le facteur confort. Ils ont fait un investissement important parce qu'ils savent que le confort est crucial pour que les gens utilisent les appareils XR tout au long d'une journée de travail.

Vous pouvez améliorer le confort avec l'Eye tracking de Tobii, car un casque peut exploiter les mesures de la distance interpupillaire pour s'adapter automatiquement aux différents utilisateurs et au glissement sans perturber l'expérience de l'utilisateur.

À cela s'ajoute le problème du mal des transports, que les graphiques à haute résolution peuvent contribuer à résoudre. C'est là que des technologies comme le rendu graphique fovéal dynamique (DFR) sont essentielles pour que les appareils XR restent performants dans les architectures de traitement fractionnées et sur l'appareil. Cette année, NVIDIA a lancé la deuxième version de son suréchantillonnage à taux variable, VRSS 2, qui s'appuie sur la technologie Spotlight de Tobii. Les deux technologies collaborent pour fournir des informations sur le regard avec une latence minimale au pilote NVIDIA, ce qui permet aux développeurs de créer des applications qui exploitent le DFR sans codage supplémentaire pour chaque appareil. Les taux de rafraîchissement stables et élevés qui en résultent permettent d'abaisser le seuil d'étourdissement que certaines personnes ressentent avec la RV.

Qu'en est-il des nouvelles tendances technologiques du point de vue du matériel ? Et que fait Tobii pour s'assurer que nos intégrations matérielles s'adaptent ?

La qualité de l'image et le poids de l'appareil contribuent également à l'Eye tracker portable, ce qui favorise le développement et l'adoption d'optiques pliées (souvent appelées lentilles pancake en XR), car leur facteur de forme et leur qualité d'image permettent souvent d'obtenir des casques plus légers et moins encombrants que les conceptions conventionnelles de lentilles de Fresnel.

Pour aider les fabricants à passer au pancake pour les appareils commerciaux, Tobii XR a consacré une grande partie de ses efforts de R&D en 2021 au développement des plates-formes d'intégration permettant d'assurer l'eye tracking pour cette architecture émergente. Nous nous sommes concentrés sur une conception compacte qui permet une intégration sans modifications invasives du casque et minimise la consommation de ressources. Nous avons quelques implémentations en cours de développement et nous sommes impatients d'en parler plus en détail une fois qu'elles seront lancées.

Je dirais que l'autre évolution majeure en matière de matériel est l'adoption de l'eye tracking dans les casques commerciaux. L'année dernière (2021), nous avons eu deux sorties majeures d'appareils équipés nativement de notre Eye tracking - le Pico Neo 3 Pro Eye, que j'ai déjà mentionné, et le HP Reverb G2 Omnicept Edition. Le succès de Pico souligne la demande d'appareils autonomes et celui de HP le besoin de capteurs supplémentaires. Et puis il y a le partenariat que nous avons annoncé avec Pimax, qui apportera tout le potentiel du métavers aux consommateurs. Du point de vue de Tobii, je dirais que notre approche de la conception, qui consiste à s'assurer que notre technologie est conforme au principe "tout le monde, partout, tous les appareils", est un facteur de différenciation crucial pour les fabricants qui cherchent à intégrer l'eye tracking dans les appareils grand public.

Les annonces faites par Meta et Sony Playstation révèlent que l'eye tracking fera partie de leur prochaine génération de casques grand public, et je pense que cela ne saurait tarder.

Quel est, selon vous, le plus grand défi à relever lors de l'application de la technologie de l'eye tracking aux appareils XR grand public ?

Cela nous amène à approfondir ce que je viens de mentionner à propos des systèmes qui respectent le principe "tout le monde, partout, tous les appareils" (les trois "e"). Car, comme vous le savez, il est relativement facile de mettre au point un système d'Eye tracking qui fonctionne dans un environnement contrôlé, mais il n'est pas facile d'en créer un qui réponde au principe des trois "e". Cela fait plus de vingt ans que nous travaillons, que nous faisons des recherches et que nous acquérons les compétences nécessaires pour proposer une solution qui fonctionne - une solution qui tient compte des différentes formes et couleurs d'yeux, de la réflectivité rétinienne, de la correction de la vue, et ainsi de suite. Mais pour l'environnement des consommateurs, il ne s'agit pas seulement d'atteindre une couverture de 95 % de la population ; il s'agit de fournir une solution robuste qui puisse être répétée dans une production à grande échelle. Si vous souhaitez en savoir plus sur la manière dont nous y sommes parvenus, vous pouvez consulter le billet d'Andreas sur l'importance de construire des technologies universelles dans son billet sur la démystification de l'eye tracking pour le XR .

Et quels sont les domaines d'application de l'Eye tracking qui, selon vous, seront les premiers à se lancer dans le métavers ?

Je dirais que ce sont les suspects habituels, la Santé et le bien-être, la collaboration, les jeux, le social, l'éducation et la formation basée sur la simulation. Cependant, je dirais que la Santé et le bien-être arrivent en tête dans le secteur des entreprises. Je dis cela en raison de l'intérêt accru que nous avons constaté en 2021 pour Tobii Ocumen - notre boîte à outils analytique pour l'enregistrement des données, l'organisation et l'analyse du comportement humain que ce type d'applications avancées exige.

Vous vous souvenez de notre rencontre avec Scott Anderson de SyncThink pour trouver les clés de l'évolutivité et il nous a expliqué qu'il s'agissait d'une application qui attendait le matériel parfait ? Je pense que nous pouvons nous attendre à voir davantage d'applications de ce type qui attendent le Matériel et les signaux d'Eye tracking adéquats. Nos partenaires REACT Neuro et Apeiron Life se sont penchés sur l'importance des performances cognitives tout au long de la vie . Comme le souligne le Dr Martin, le bien-être ne se limite plus à rester physiquement actif et à manger correctement, il s'agit aussi de prévenir le déclin cognitif.

Du côté des consommateurs, les applications sociales et de jeux connaîtront une croissance en crosse de hockey compte tenu du niveau d'intérêt actuel et de la façon dont les plateformes se développent. Je pense aussi que c'est dans ces domaines que les consommateurs apprécieront le plus le métavers. Pour Tobii, cela signifie que nous continuerons à travailler en étroite collaboration avec les fabricants de casques, les développeurs et les créateurs de contenu pour apporter des fonctionnalités telles que la présence, les avatars réalistes, les interfaces intuitives et la biométrie pour l'authentification dans le métavers.

Avant de conclure, Johan, j'aimerais vous interroger sur les normes et la nécessité d'OpenXR.

Les normes ouvertes constituent l'un des moyens les plus efficaces de promouvoir l'agilité entre les plates-formes, car elles permettent d'éviter le verrouillage des fournisseurs et l'adaptation fastidieuse des appareils. Elles permettent également aux grandes entreprises technologiques et aux opérateurs de niche de travailler ensemble. Comme vous le savez, OpenXR a publié une extension de la norme pour l'Eye tracking en 2020, mais ce que nous pouvons attendre avec impatience cette année, c'est la mise en œuvre de la norme dans les casques commerciaux et les solutions de soutien comme la plateforme MR de Microsoft Windows.

En résumé, Johan, à quoi pouvons-nous nous attendre en 2022 ? Comment Tobii apportera-t-il une valeur ajoutée à l'expérience utilisateur du métavers ?

Pour moi, il s'agit de l'Eye tracking dans tous les appareils, ce qui nécessitera des intégrations matérielles comme la nôtre pour être à la hauteur du principe "tout le monde, partout, tous les appareils". Nous assisterons à une diversité continue des types d'appareils, avec des outils de travail pour les environnements de simulation, mais la tendance principale est aux casques légers et sans fil. Pour les développeurs, le métavers constitue une plateforme solide pour raconter des histoires et créer de nouvelles applications. Nous pouvons nous attendre à voir des exemples de prosommateurs, mais comme pour la plupart des solutions émergentes, l'expérience initiale sera probablement un peu fragmentée. Il y aura beaucoup d'applications collaboratives qui aideront les entreprises à dépasser les frontières organisationnelles et à supprimer les silos créés par les contraintes de temps et d'espace. Je pense que nous avons déjà un bon exemple de cela avec VirtualRetail.io et la façon dont ils sont f.

Pour les consommateurs, il sera intéressant de voir comment les gens réagissent à Meta's Horizon maintenant qu'il a dépassé la phase bêta et qu'il est passé à une version publique plus large. Nous ne serons pas encore sur un pied d'égalité, mais nous verrons des appareils améliorés avec Eye tracking et une augmentation des avatars authentiques, des contacts visuels réalistes, des interfaces faciles à utiliser et des jeux améliorés, par exemple.

Excellent résumé, Johan. Je vous remercie.

Merci, Maggie. J'ai été ravie de vous revoir en personne, mais maintenant, nous revenons au virtuel.