Eye tracking en réalité virtuelle et en réalité augmentée : le moteur de l'avenir des technologies immersives

À mesure que les technologies de réalité virtuelle et de réalité augmentée progressent, l'eye tracking s'impose comme l'une des fonctionnalités les plus déterminantes dans ces environnements immersifs. Autrefois réservée aux laboratoires de recherche, l'eye tracking est désormais intégré aux casques de réalité virtuelle grand public et aux applications de réalité augmentée destinées aux entreprises, ouvrant ainsi de nouvelles perspectives dans les domaines de la conception d'interactions, de la formation, des jeux vidéo et bien d'autres encore.

Cet article examine comment l'eye tracking influence le développement de la
réalité virtuelle (RV) et de la Réalité augmentée (RA), les défis techniques et centrés sur l'humain qu'il soulève, ainsi que ses perspectives d'avenir.

Eye tracking dans réalité étendue (XR) consiste à utiliser des capteurs et des caméras pour observer et mesurer le regard d’un utilisateur, afin d’identifier ce qu’il regarde, la durée de sa fixation et les mouvements de ses yeux au sein d’un environnement 3D.

Il permet de saisir :

• Fixations: Points sur lesquels le regard s'attarde pour faire la mise au point.

• Saccades: Mouvements oculaires rapides entre deux points de focalisation.

• Dilatation de la pupille: Indique l'attention ou la charge cognitive.

• Modèles de clignement: peuvent indiquer de la fatigue ou des états émotionnels.

Ces données de suivi du regard en temps réel contribuent à rendre les environnements virtuels et augmentés plus intuitifs, personnalisés et efficaces.

1. Interaction et immersion améliorées

La réalité virtuelle traditionnelle repose en grande partie sur les manettes et les gestes. L'eye tracking apporte une nouvelle dimension à l'interaction, permettant aux utilisateurs de sélectionner des objets, de zoomer ou de déclencher des événements simplement en les regardant.

• Interaction par le regard: Sélectionnez ou activez en regardant.

• Rendu fovéal: Seule la zone mise au point est affichée en haute résolution, ce qui réduit la charge de traitement et améliore les performances.

2. Formation, simulation et évaluation

Des secteurs tels que l'aviation, l'ingénierie et la médecine utilisent la réalité virtuelle associée à l'eye tracking pour :

• Analyser les comportements liés à l'attention et à la prise de décision au cours des simulations.

• Améliorer la formation à la sécurité en vérifiant si les utilisateurs se concentrent sur les éléments essentiels.

• Personnaliser la formation en temps réel en fonction des schémas de regard de chaque participant.

3. La RA industrielle et d'entreprise

Eye tracking permet une utilisation sans les mains dans les ateliers de production ou lors des interventions sur le terrain, et garantit le respect des normes.

• Vérifier si les techniciens respectent les consignes visuelles

• Activer les interfaces qui réagissent à la direction du regard de l'employé

• Les lunettes de réalité augmentée dotées d'un système d'eye tracking permettent de vérifier le respect des consignes et d'apporter des corrections en temps réel.

4. Éducation et recherche cognitive

Les enseignants et les chercheurs ont recours à l'eye tracking pour mieux comprendre les comportements d'apprentissage.

• Imaginez comment les élèves interagissent avec les supports pédagogiques.

• Donnez votre avis sur l'implication et la compréhension.

• Aider les apprenants neurodivergents grâce à un rythme visuel adapté.

5. Jeux et divertissements

Dans le domaine du jeu vidéo, l'eye tracking est utilisé pour :

• Un gameplay adaptatif, où les personnages réagissent lorsque vous les fixez trop longtemps.

• Pointage ou déplacement par le regard.

• Détection des émotions à partir du regard et de la réaction pupillaire pour la narration immersive.

Les tendances actuelles à surveiller

1. L'essor du rendu fovéal

Des acteurs majeurs tels que Meta, Apple et HTC promeuvent le rendu fovéal comme une fonctionnalité standard. Cela améliore considérablement les fréquences d’images tout en réduisant la charge du GPU, rendant ainsi la réalité étendue haute fidélité plus évolutive.

2. Eye tracking + IA

En associant l'eye tracking à l'apprentissage automatique, les systèmes peuvent :

• Anticiper les intentions des utilisateurs.

• Personnaliser le contenu de manière dynamique.

• Repérez les signes de fatigue ou de confusion et adaptez le rythme ou le niveau de difficulté en conséquence.

3. Intégrations généralisées dans les appareils grand public

Avec la sortie d'appareils tels que l'Apple Vision Pro, l'eye tracking n'est désormais plus réservé à la recherche et aux outils d'entreprise. Les futurs casques grand public devraient intégrer cette technologie par défaut.

4. Interaction tenant compte du contexte

Eye tracking est associé à des capteurs environnementaux (tels que la cartographie spatiale et le suivi des mains) afin de développer des interfaces utilisateur contextuelles qui réagissent de manière intuitive, sans nécessiter de clics ni de commandes vocales.

Défis techniques et centrés sur l'humain

Malgré son potentiel, l'eye tracking dans le domaine de la réalité étendue (XR) se heurte encore à certains défis :

Étalonnage du matériel

• Pour que l'eye tracking soit précis, un étalonnage minutieux est nécessaire, ce qui peut s'avérer difficile pour les utilisateurs portant des lunettes, ayant une forme d'œil atypique ou souffrant de certaines pathologies oculaires.

• Il est également difficile de maintenir l'étalonnage pendant le mouvement, en particulier dans les scénarios de réalité virtuelle dynamiques.

Confort et coupe

• Tous les utilisateurs ne portent pas leur casque de la même manière, ce qui peut entraîner un suivi irrégulier.

• Une utilisation prolongée peut entraîner de la fatigue, notamment si le système interprète mal le comportement du regard.

Diversité des comportements visuels

• Les différences culturelles, neurologiques et liées à l'âge influencent la manière dont les gens perçoivent les choses. Les concepteurs doivent éviter de créer des interfaces visuelles « universelles ».

Interprétation des données

• Les données brutes de suivi du regard sont bruitées. Il est difficile d’en extraire des informations pertinentes, telles que «l’intention» ou «engagement», nécessite des algorithmes avancés et parfois des ensembles de données d'entraînement spécifiques au domaine.

Perspectives d'avenir : quelle est la prochaine étape ?

Le eye tracking en réalité virtuelle (RV) et en réalité augmentée (RA) est en train de passer du statut de simple nouveauté à celui de technologie incontournable. À mesure que le matériel évolue et que les écosystèmes logiciels se développent, on peut s'attendre à :

• Des interfaces XR plus naturalistes qui ne nécessitent ni contact tactile ni commande vocale.

• Recours accru à des contenus adaptatifs qui réagissent en temps réel à l'attention et aux émotions.

• Une collaboration renforcée entre les concepteurs UX, les neuroscientifiques et les ingénieurs en IA pour créer des expériences intuitives.

Conclusion

Eye tracking révolutionne notre interaction avec les technologies immersives telles que la réalité virtuelle (RV) et la réalité augmentée (RA). Elle permet de déterminer où se porte le regard des utilisateurs et donne aux systèmes la capacité de réagir à leur attention en temps réel. Grâce aux solutions avancées d'eye tracking de Tobii, notamment le SDK Tobii XR et l’intégration d’eye tracking dans les
principaux casques, les développeurs peuvent créer des expériences tenant compte du regard qui s'adaptent automatiquement au comportement de l'utilisateur.

Pour les concepteurs, les développeurs et les responsables de la stratégie produit, le message est clair : commencez à concevoir en tenant compte du regard. La technologie de Tobii permet aux applications XR d’améliorer leurs performances grâce au rendu fovéal, de renforcer l’engagement des utilisateurs grâce à des interactions fluides et de générer des analyses plus pertinentes en capturant les données relatives à l’attention visuelle. À mesure que les expériences immersives progressent, l’eye tracking deviendra aussi essentiel à la réalité étendue (XR) que le suivi de mouvement et l’ — haptique, en particulier lorsqu’il est fourni par Tobii.