Pourquoi l'eye tracking sera standard sur tous les casques VR

Depuis le début de la révolution numérique, les nouvelles technologies n'ont cessé de remplacer les objets physiques par des services logiciels, virtualisant progressivement la façon dont les gens communiquent. Le courrier aérien s'est transformé en messagerie instantanée, les journaux en sites web, et les réunions en face à face sont remplacées par des rencontres en ligne, la téléprésence et la RV.

Plus la virtualisation progresse, plus il devient facile de collaborer à distance, au-delà des fuseaux horaires et des distances. Dans ce billet, j'examine l'impact de la virtualisation sur la collaboration à distance, qui est devenue plus intuitive et plus accessible au fil du temps, et les raisons pour lesquelles les développeurs d'applications construisent pour l'eye tracking.

Il y a quelques années, j'aidais mes parents à vider leur grenier. Au milieu des souvenirs et des moutons de poussière, j'ai trouvé une pile de cassettes datant des années 1970. Ce que j'avais découvert, c'était la correspondance entre mes parents et ma grand-mère. À l'époque, ils vivaient sur des continents différents et communiquaient par l'intermédiaire de ce qu'ils appelaient le " tape mail" . C'était leur seul moyen de rester en contact d'une manière qu'ils jugeaient plus profonde, plus significative que les lettres écrites.

À l'époque de Woodstock et de la première crise pétrolière, le coût d'un aller-retour New York-Londres équivaudrait aujourd'hui à environ quatre mille dollars américains. Les mémos manuscrits ou dactylographiés constituaient la principale forme de communication professionnelle. L'innovation de mes parents a rendu la communication vocale abordable à une époque où la qualité du son de la téléphonie longue distance était médiocre. Les appels devaient être planifiés, ils étaient coûteux et les conversations se limitaient à l'obtention des dernières nouvelles.

Les derniers mois nous ont tous rappelé le besoin humain de connexions personnelles - un besoin reflété par l'augmentation spectaculaire de la collaboration VR à distance. En mars 2020, l' utilisation de VR Chat a augmenté de 48 % par rapport à la même période en 2019. Steam a noté des augmentations similaires avec AltspaceVR en hausse de 13% . Pour moi, ces chiffres illustrent le potentiel de la RV et la façon dont elle peut rapprocher les gens d'une manière qui renforce les relations.

Aujourd'hui, dans ce qui semble être une tradition familiale permanente, mes enfants et leurs grands-parents vivent également sur deux continents différents. Habituellement, nous nous réunissons une fois par semaine pour un appel vidéo, mais pendant les périodes d'éloignement social, c'est devenu un événement quotidien. La disponibilité illimitée de la voix et de la vidéo, la multiplicité des appareils et la robustesse des connexions réseau nous permettent de nous amuser ensemble - de communiquer naturellement.

Et bien que je sois reconnaissant d'avoir un emploi et la technologie qui soutient les affaires comme presque d'habitude, je ne peux pas m'empêcher de souhaiter que les casques et les applications de RV de nouvelle génération soient déjà monnaie courante. Cela aiderait mes enfants à apprendre d'une manière interactive qui leur permettrait de retenir l'information. Quant à moi, je pourrais organiser des réunions et collaborer à distance en bénéficiant de la créativité et de la liberté supplémentaires promises par la généralisation de la RV.

La salle de guerre virtuelle

En ce moment même, je suis sur le point de lancer un nouveau projet. Il y a quelques années, nous aurions personnalisé une salle de crise au bureau, un endroit où l'équipe se réunirait, serait créative, discuterait, testerait et affinerait. Aujourd'hui, comme dans beaucoup d'autres entreprises modernes, les experts de mon équipe sont répartis sur plusieurs fuseaux horaires. La collaboration exige de la patience et de la créativité. La RV nous libère des conventions et des limites des espaces physiques, de la distance et du temps. Dans notre salle de guerre virtuelle, nous pouvons apporter tous les outils dont nous avons besoin, des présentations, des vidéos, du contenu en direct, le modèle 3D le plus récent de notre produit, le stand de l'événement pour le CES de l'année prochaine et nos nouvelles idées de conception.

Comme tant d'autres solutions virtuelles, la RV apporte l'avantage de la commodité, de la réduction des déplacements et d'une collaboration durable. Mais les expériences de RV dépassent les autres par leur flexibilité et leur hyperréalisme - parce qu'elles nous permettent de faire des choses qui sont impossibles dans le monde réel.

Des applications de niveau entreprise avec des avatars convaincants

Alors que je continue à rêver de travailler de cette manière, la vérité est que la collaboration VR à distance est en train de s'implanter dans le monde du divertissement. Et grâce aux technologies qui ont permis aux avatars de passer du statut de dessins animés à celui de jumeaux numériques réalistes, les applications de RV commencent à s'immiscer dans la suite hiérarchique. L'adoption continue dépend d'applications utiles pour l'entreprise et d'avatars convaincants. L'Eye tracking prend en charge les deux, et c'est pourquoi je suis convaincu qu'il sera standard sur tous les casques. Il supprime le regard étrange, en donnant aux avatars des mouvements oculaires et des regards latéraux naturels, ce qui permet aux avatars de continuer à évoluer sur la voie d'un réalisme toujours plus grand. Et en supprimant la nécessité de mouvements de tête non naturels pour, par exemple, sélectionner des objets, l'eye tracking peut améliorer le niveau d'intuitivité des applications de RV.

HTC a récemment annoncé la version bêta ouverte de VIVE Sync , un outil de collaboration et de réunion VR conçu spécifiquement pour la communication d'entreprise. Actuellement gratuit pour les entreprises, il prend en charge l'Eye tracking de Tobii pour permettre aux avatars d'interagir de manière naturelle.

Inutile de dire que j'étais impatient de l'essayer. Je voulais voir par moi-même comment la technologie d'Eye tracking de Tobii favorise l'intuitivité dans la collaboration à distance et donne vie à une nouvelle génération d'avatars VR.

Ainsi, lorsque ma collègue Maggie a voulu parler du fonctionnement de l'eye tracking dans un casque VR, au lieu d'organiser une réunion vidéo, comme nous le faisons habituellement, nous nous sommes retrouvés avec Vive Sync. J'avais un casque équipé d'un système d'eye tracking, mais pas Maggie. L'enregistrement de notre réunion montre clairement la différence dans nos mouvements oculaires - les miens sont suivis en temps réel, tandis que ceux de Maggie sont simulés.

De la même manière que les contrôleurs haptiques ajoutent le toucher, l'Eye tracking ajoute la vue à l'expérience VR, en capturant le contact visuel, la façon dont nous clignons des yeux, peut-être le roulement d'un œil - tous les gestes porteurs de contenu qui sont essentiels à une communication significative.

Si vous êtes intéressé par ma description de haut niveau du fonctionnement de l'eye tracking dans un casque VR, vous pouvez regarder notre réunion de 3 minutes :

Commencer à construire pour l'eye tracking

Certains appareils VR intègrent déjà l'eye tracking, et je suis certain que la technologie sera standard sur tous les nouveaux designs, non seulement pour les applications qu'ils permettent, mais aussi parce que la technologie est un prérequis pour les casques bien optimisés avec un rendu fovéal (consultez Vision virtuelle réaliste avec rendu graphique fovéal dynamique si vous voulez en savoir plus sur cette technologie).

Pour accélérer la création de nouvelles applications, la Developer Zone de Tobii fournit des SDK et des démos qui aident les développeurs à créer des avatars qui émulent les mouvements oculaires d'un utilisateur ou cartographient le point de son regard sur un objet à l'écran. En attendant, j'ai hâte d'essayer la RV avec mes enfants et leurs grands-parents lors d'un de nos appels.