Eye tracking in XR — the 2022 wrap-up and innovations on the horizon
Tobii's acting head of XR, Emma Bauer, takes a look back at XR in 2022, talking about some of the things Tobii has been working on and what innovations she expects to see in 2023.
Alors que le marché arrive à maturité, les prévisions indiquent que le XR est sur le point d'être adopté par le marché de masse. Début 2020, Research and Markets a prédit une croissance de 65 % pour les cinq années à venir (2020-2025), une prévision confirmée par les chiffres de MarketWatch et reflétée par la croissance des livraisons de casques, qui devraient atteindre plus de 30 millions d'unités d'ici à 2023. Le succès du XR repose sur une collaboration interdomaine, car elle garantit que les technologies facilitatrices essentielles, telles que l'eye tracking, les chipsets compatibles 5G, les réseaux de transport, le cloud XR et le développement d'applications, peuvent s'appuyer sur les conceptions les plus récentes.
La pile technologique XR est diversifiée, ce qui oblige les fabricants de casques à gérer de nombreux fournisseurs tiers, qui proposent des produits et des services de niche. La mise en place d'un écosystème XR durable, capable de prendre en charge des millions d'utilisateurs fréquents, nécessite des casques légers et confortables, des réseaux de transport à faible latence, un contenu utilisateur attrayant, le head tracking, le hand tracking et l'eye tracking, le XR cloud et la prise en charge des technologies de fovéal. L'intégration inter-domaines est essentielle pour une commercialisation rapide.
Le récent modèle de référence Qualcomm® Snapdragon™ XR2 5G est le premier casque de référence compatible 5G au monde et intègre l'eye tracking de Tobii en tant que technologie native et fondatrice. En travaillant ensemble sur plusieurs générations de produits, Tobii et Qualcomm établissent une fois de plus la référence en matière de ce que les utilisateurs et les développeurs doivent attendre d'un casque VR.
En tant que technologie XR fondamentale, l'eye tracking a la capacité de favoriser l'adoption grâce à sa contribution à l'intégration des systèmes et à l'expérience de l'utilisateur.
Du point de vue de l'intégration matérielle, la mise en place d'un écosystème comptant des millions d'utilisateurs fréquents nécessite une utilisation efficace des ressources.
En tirant parti du processus de vision humaine, l'eye tracking peut alléger la charge de traitement graphique du casque et réduire la bande passante nécessaire pour envoyer des données sur le réseau à d'autres casques et appareils, tout en préservant l'expérience de l'utilisateur.
Le rendu par fovéation utilise le fait que nos yeux se concentrent sur une région d'intérêt limitée en haute résolution, entourée d'une zone de fusion à résolution moyenne, en dehors de laquelle nous n'avons besoin d'un rendu à basse résolution que pour les objets situés dans notre périphérie.
Activé par Tobii Spotlight Technology™, le rendu fovéal dynamique exploite les données de mise au point de l'utilisateur pour réduire considérablement la charge de traitement du casque - libérant ainsi des ressources pour, par exemple, prendre en charge des casques à plus haute résolution, améliorer les graphiques et augmenter les fréquences d'images (ce qui peut contribuer à atténuer les nausées).
Du point de vue de l'utilisateur, la construction d'un écosystème avec des millions d'utilisateurs fréquents nécessite un contenu attrayant, qui à son tour nécessite des incitations et un point d'entrée bas pour les équipes de développement. Prédire l'intention d'un utilisateur de prendre un objet, par exemple, est simplifié lorsque des données d'eye tracking sont disponibles. Une application peut utiliser le point du regard d'un utilisateur pour sélectionner un objet, supprimant ainsi la nécessité de regarder puis de sélectionner avec un geste de la main ou un mouvement de la tête. La sélection d'objets par le regard imite la façon dont les gens interagissent naturellement avec le monde qui les entoure, ce qui renforce le sentiment d'immersion de l'utilisateur. En supprimant les mouvements de tête, l'eye tracking peut contribuer à réduire la fatigue et les nausées - des facteurs supplémentaires qui contribuent à accélérer l'adoption.
Grâce à l'eye tracking, les applications basées sur des avatars deviennent réalistes grâce au mouvement naturel des yeux, en tirant parti de caractéristiques telles que le contact visuel social. Associées aux gestes de la tête et des mains, les applications utilisant l'eye tracking deviennent plus intuitives, l'apprentissage est simple et l'expérience utilisateur est mémorable - des facteurs qui contribuent à l'adoption.
Outre l'enrichissement de l'expérience utilisateur, les nouvelles opportunités commerciales pour les développeurs et la réduction des charges de GPU et de transport, l'eye tracking joue un rôle dans la facilité d'utilisation du casque - un facteur clé pour le XR. Le poids et le confort du casque sont deux des facteurs de conception les plus importants qui influencent l'adoption.
En mesurant continuellement la distance entre les yeux d'une personne, il est possible de détecter un glissement, par exemple. L'étalonnage à l'aide de l'Eye tracking est précis car il permet d'inclure dans le calcul des paramètres supplémentaires, tels que la distance entre les yeux d'une personne, la position de la fovéa et les propriétés de réflexion des différentes parties des yeux.
Ensemble, Qualcomm et Tobii ont construit une plateforme facilitant la création d'un écosystème XR durable pour des millions d'utilisateurs fréquents. Tobii souhaite s'associer à d'autres parties prenantes, tant au niveau de l'intégration des systèmes que du développement d'applications. Notre SDK, par exemple, fournit de nombreux outils essentiels pour abaisser la barrière d'entrée du développement d'applications dans des domaines tels que la formation, la collaboration à distance, la conception immersive et les diagnostics. Intéressé par un partenariat avec Tobii ?
Nous attendons avec impatience votre réponse.
Tobii's acting head of XR, Emma Bauer, takes a look back at XR in 2022, talking about some of the things Tobii has been working on and what innovations she expects to see in 2023.
Drew Bamford, vice-président de HTC Vive Creative Labs, discute des tendances clés et des défis possibles ayant un impact sur le marché du XR.
In this post, we discuss the importance of open standards and how eye tracking as an OpenXR extension is a catalyst for innovation in the XR ecosystem.