Eye tracking dans le domaine de la radiologie - bilan de 2022 et innovations à l'horizon

Les débuts et les fins ont quelque chose de spécial. Ils nous aident à nous remettre à zéro, à atteindre de nouveaux objectifs, à développer de nouvelles fonctionnalités et à résoudre de nouveaux problèmes. Si 2022 a été riche en défis imprévus, la pandémie a prouvé que les humains sont incroyablement ingénieux - face à l'instabilité et à l'incertitude, la créativité a tendance à s'épanouir. Prendre la responsabilité du segment XR de Tobii est un défi que j'ai récemment relevé, et je suis heureux de dire que, du point de vue de l'eye tracking, je n'aurais pas pu assumer ce rôle à un meilleur moment. Nous venons d'annoncer notre première incursion dans la RV grand public. Et notre plateforme XR s'est élargie pour prendre en charge des conceptions optiques de pointe, offrant de nouveaux flux de données pour améliorer les capacités des appareils et l'expérience des utilisateurs. L'une de mes premières tâches consiste à présenter notre bilan 2022 XR et à souligner les innovations que nous pouvons attendre dans les mois à venir. Bonne lecture !

Entrer dans le marché de masse de la RV

Tobii a été choisi par Sony Interactive Entertainment pour être le fournisseur de la technologie d'eye tracking pour le PlayStation VR2, l'annonce (juillet 2022).

La collaboration avec nos clients au cours des dernières années nous a aidés à élaborer une approche holistique de l'intégration de l'eye tracking. Elle nous a également permis de développer un sous-système qui prend en charge diverses conceptions optiques en utilisant les composants les plus performants pour fournir une solution d'eye tracking dotée d'une puissante puissance de calcul et d'une esthétique attrayante.

La preuve que nous sommes sur la bonne voie m'a été apportée lors d'une visite chez un client. Nous discutions de la conception et de l'esthétique de l'un de leurs prototypes de casques lorsque l'un des ingénieurs m'a demandé de souligner nos composants d'eye tracking - c'est dire à quel point la collaboration avec les acteurs de l'industrie des XR a façonné la discrétion de notre technologie.

Notre plateforme XR de nouvelle génération - conçue pour la RA et la RV

L'engagement dans OpenXR et la collaboration avec les géants de la technologie, les concepteurs de casques et les développeurs nous ont aidés à aligner nos solutions sur l'évolution des besoins des casques et de l'écosystème. Nous nous sommes efforcés de tirer parti de l'expertise acquise en travaillant avec nos partenaires dans la conception de notre plateforme XR de nouvelle génération - en optimisant les algorithmes et les pilotes de composants pour une faible latence et une consommation d'énergie minimale afin de garantir la meilleure utilisation des ressources. Mais comme j'y ai fait allusion plus tôt, je constate que l'accent est mis sur l'esthétique, ce qui est logique car les Eye tracker portables doivent être confortables et attrayants. Pour y parvenir, nous avons travaillé sur nos conceptions afin qu'elles fonctionnent avec des composants discrets et légers, placés de telle sorte qu'ils ne perturbent pas l'expérience de l'utilisateur.

Pour les équipementiers qui cherchent à adopter l'optique proche de l'œil (pancake), notre plateforme XR de nouvelle génération prend en charge les casques VR et les lunettes AR. Bien que nous ayons conçu notre plateforme pour qu'elle fonctionne avec des composants standard, je pense que l'expertise essentielle que nous apportons à la table est notre connaissance de l'emplacement optimal, la façon d'éviter les changements d'architecture invasifs et de garantir que la conception finale de l'appareil est adaptée à la production de masse.

Investir dans des capacités d'optimisation des appareils

Cette année, nous avons continué à investir dans les capacités d'optimisation des appareils, telles que l'IPD par logiciel, l'assistance au positionnement et la compensation du glissement. Le réglage de l'IPD à l'aide d'un logiciel évite d'avoir recours à des techniques de mesure maladroites impliquant des miroirs et des règles, mais il supprime également le besoin d'une roue de réglage physique de l'IPD et améliore les algorithmes de distorsion statique grâce à un alignement idéal dès le départ. L'Eye tracking est la solution idéale pour fournir les données nécessaires aux solutions automatisées de réglage de l'IPD qui permettent aux utilisateurs de rester alignés sur le point idéal de l'objectif. Nous avons travaillé sur la compensation du glissement et sur une solution appelée guide de positionnement qui aide l'utilisateur à placer le casque correctement - à la fois verticalement et horizontalement - ce qui permet de s'assurer que les utilisateurs sont dans la zone optique idéale et qu'ils voient l'écran avec une clarté totale.

Ce qui se profile à l'horizon

La façon dont le rendu dynamique par fovéation exploite les ressources d'un casque est l'une des principales raisons pour lesquelles l'eye tracking est devenu une partie intégrante des casques modernes. Sa technique sœur, le transport dynamique par fovéation, qui permet de réduire les besoins en bande passante, commence à décoller à mesure que la communauté des éditeurs de logiciels indépendants se penche sur l'eye tracking et sur la manière de l'exploiter pour permettre l'informatique hors appareil.

Les images floues, les images fantômes et les reflets causés par la distorsion des lentilles sont problématiques car ils perturbent l'utilisateur et peuvent provoquer des nausées chez certaines personnes. Outre les solutions "sweet spot" dont je viens de parler, nous avons récemment travaillé sur une nouvelle idée visant à améliorer les expériences XR en veillant à ce que la pupille de l'utilisateur soit toujours dans le "sweet spot". Le concept consiste à remplacer la compensation statique par une solution dynamique qui maintient la netteté des images et supprime les effets indésirables lorsque l'utilisateur déplace ses yeux. Pour mettre en place une telle solution, nous avons travaillé sur la fourniture d'un nouveau signal d'eye tracking qui donne la position de la pupille en 3D en temps réel. Un livre blanc sera publié à ce sujet en 2023.

À mesure que l'Eye tracking devient une caractéristique intégrale des appareils XR, je pense que nous pouvons nous attendre à voir des appareils avec des écrans varifocaux qui ajustent dynamiquement la distance focale en fonction de la direction du regard. Ce type de système d'affichage de nouvelle génération permettra une interaction intuitive avec les objets virtuels et contribuera à résoudre le conflit vergence-accommodation, en réduisant la fatigue oculaire causée par la non-concordance des indices entre la vergence et l'accommodation de l'œil.

De nouvelles possibilités de rencontres et de sports

Lorsqu'il s'agit de socialiser, ce n'est un secret pour personne que les technologies de capteurs comme l'eye tracking permettent de donner vie aux avatars avec des expressions authentiques et des mouvements oculaires qui imitent l'utilisateur en temps réel. J'aime particulièrement une expérience que nous avons menée avec LIV et Ready Player Me en utilisant le jeu Racket : Nx, car elle montre comment l'eye tracking rend l'avatar du joueur expressif. Un de mes collègues a passé du temps à activer notre eye tracking dans l'outil populaire de création d'avatars d'Epic, MetaHuman. Si vous voulez en savoir plus à ce sujet, je vous recommande son article intitulé "A gaze expression experiment with MetaHuman" (expérience d'expression du regard avec MetaHuman ).

Le monde du sport s'est révélé être une application idéale pour l'eye tracking, si vous l'intégrez dans des vêtements de sport comme les casques de hockey et les casquettes de golf, par exemple, il libère un flux unique d'insights qui peuvent être mis à la disposition des fans, des entraîneurs, des formateurs et des athlètes. Ce type de solution crée de nouvelles opportunités pour les services de diffusion en continu, par exemple, en leur permettant de retransmettre l'action d'un match du point de vue du joueur - non seulement ce qu'il voit, mais aussi la manière dont il analyse la scène qui se déroule devant lui. En ce qui concerne l'analyse des performances, les données fournissent aux entraîneurs et aux athlètes des informations précieuses sur le déroulement du jeu et sur les éléments sur lesquels les joueurs se concentrent pendant les moments stratégiques.

Permettre le bouleversement de l'industrie - formation et santé

La pénurie de pilotes aux États-Unis pourrait atteindre un déficit de 30 000 pilotes d'ici 2025. Le nombre de pilotes a diminué en raison des régimes de retraite anticipée proposés aux cadres supérieurs pendant la pandémie, de la diminution du nombre de pilotes militaires qui passent dans les compagnies aériennes commerciales et du fait que les méthodes de formation ne peuvent pas suivre le rythme de la demande. Pour résoudre ce dernier problème, notre partenaire, VTR, a mis au point une solution de formation des pilotes basée sur la RV, conçue pour améliorer les résultats de la formation et réduire les coûts. Le temps passé sur les simulateurs traditionnels est une denrée coûteuse et très demandée. La solution de VTR remplace les méthodes traditionnelles d'apprentissage des pilotes à partir de manuels et de modèles sur papier pour développer des compétences solides, en veillant à ce que le temps passé dans le simulateur soit aussi efficace que possible.

Parce que l'eye tracking est un outil numérique qui fournit des informations sur les êtres humains, il contribue à transformer les solutions de soins traditionnelles basées sur l'observation manuelle dans la sphère numérique. Mais la transformation digitale utilisant la RV apporte le bonus supplémentaire de la mobilité, ce qui se traduit souvent par des solutions semi-automatisées très flexibles (et moins chères). Cette année, notre collaboration avec Olleyes, une société MedTech de premier plan spécialisée dans les solutions de soins oculaires basées sur la RV, a porté ses fruits. Comme l'explique Alberto Gonzalez, PDG d'OIleyes, en transférant les évaluations des soins de la vue vers la RV, le débit des patients augmente et les mesures deviennent objectives et précises. L'aspect le plus précieux qu'il mentionne concerne la façon dont la RV facilite les efforts nécessaires, en aidant les patients à faire les tests et les cliniciens à les réaliser. À long terme, l'entreprise envisage de transférer ses solutions au domicile des patients. J'imagine qu'il serait beaucoup plus amusant, voire pratique, de s'asseoir chez soi et de faire des tests oculaires avec un casque de RV que de se rendre sans cesse à la clinique la plus proche.

Les efforts incessants de l'ensemble de l'écosystème XR ont mis les appareils, le contenu et les applications sur la voie d'une croissance rapide vers la maturité. Et je n'ai aucune raison de croire que 2023 sera différente. Nous continuerons à contribuer à la protection de la vie privée et à la sécurité grâce à notre politique de transparence des données , à la norme OpenXR et à la construction globale du métavers.

L'optimisation des appareils étant en tête de la liste d'achats des équipementiers, il m'incombe de m'assurer que Tobii continue à développer des solutions qui garantissent un faible calcul avec zéro déformation/distorsion et offrent la meilleure expérience graphique possible. Alors que les grands acteurs se concentrent sur des casques plus légers et plus fins avec une superbe qualité d'image et une grande esthétique, j'aimerais vous laisser avec une pensée : certains des concepts XR les plus souhaitables ont besoin d'un eye tracking précis du regard pour fonctionner.