Pourquoi les smart glasses ont-elles besoin de l'eye tracking ?

Qu'est-ce que les Smart Glasses ?

Il n'existe pas de définition unique des Smart Glasses (ou lunettes intelligentes). Néanmoins, une définition pratique axée sur le produit pourrait être celle de dispositifs portés sur la tête qui offrent les avantages familiers des lunettes et des capacités supplémentaires rendues possibles par des capteurs, des composants audio et visuels et des processeurs.

Cette définition exclut les dispositifs de réalité virtuelle (RV) et de réalité mixte (RM) qui utilisent la vidéo passante pour voir le monde. Toutefois, elle pourrait inclure les dispositifs de réalité augmentée (RA) qui utilisent une optique transparente.

Est-il important que les smart glasses englobent les lunettes classiques ? Un smartphone serait-il dépourvu de la capacité de téléphoner ? Ou une montre intelligente serait-elle incapable de donner l'heure ? Supposons que le terme "intelligent" signifie une amélioration de la fonctionnalité d'origine.

Il convient de noter que les smart glasses, pour être pratiques, doivent être suffisamment confortables pour être portées pendant de longues périodes, comme des lunettes ordinaires. D'un point de vue subjectif, cela implique que la taille et le poids doivent ressembler à ceux de lunettes normales et, dans une certaine mesure, être même à la mode.

Que peuvent faire les Smart Glasses ?

Les smart glasses grand public actuelles permettent d'écouter de la musique, de passer des appels, d'appeler des assistants vocaux et de prendre des photos et des vidéos. Les appareils dotés d'un écran peuvent offrir des fonctions telles que des cartes, des SMS, des notifications, des calendriers et des traductions linguistiques. Ces applications ne sont pas propres aux smart glasses et devraient être familières à toute personne possédant un smartphone. La différence est qu'il n'est pas nécessaire de sortir son smartphone pour accéder à ces fonctions, comme c'est le cas pour les smartwatches.

Par rapport aux smartwatches, les smart glasses ne nécessitent pas du tout que vous regardiez vos mains - votre attention peut rester sur le monde qui vous entoure et l'activité en cours. La plupart des smart glasses sont également dotées de haut-parleurs intégrés, ce qui vous permet de renoncer aux oreillettes, d'accroître encore votre conscience de la situation et de montrer aux autres que vous les entendez. Les smart glasses vous permettent d'être connecté à votre vie numérique sans être déconnecté du monde physique.

Comment les smart glasses utilisent-elles l'eye tracking ?

L'Eye tracking peut fournir des moyens naturels et inédits pour l'entrée de l'utilisateur, accélérant les cas d'utilisation axés sur l'IA et rationalisant la convivialité. Il peut également servir de capteur pour permettre à la technologie de s'adapter à l'utilisateur.

IA contextuelle et compréhension du langage

Les smart glasses peuvent collecter une énorme quantité d'informations sur l'environnement du porteur grâce à des caméras, des microphones et d'autres capteurs judicieusement placés. Les lunettes sont donc bien adaptées aux cas d'utilisation de l'IA tels que la recherche visuelle et la conversation multimodale.

L'IA est plus efficace lorsqu'elle dispose d'un vaste contexte pour une demande et qu'elle peut comprendre clairement ce qui est demandé. Comprendre les gens est l'objectif des technologies de l'informatique de l'attention comme l'eye tracking. Si une image de la scène devant un utilisateur constitue un contexte précieux, le fait de savoir sur quoi l'utilisateur se concentre permet d'apporter des réponses spécifiques et efficaces. C'est ce qui fait la différence entre des informations générales et des réponses attentives et précises.

Par exemple, un visiteur d'un musée peut regarder un tableau et demander à l'IA : "Qu'est-ce que c'est ?". L'IA pourrait répondre : "Ce sont des œuvres d'art encadrées accrochées au mur" ou "C'est le Portrait d'une dame de Gustav Klimt". De même, des questions telles que "Comment puis-je utiliser cela ?" "Est-ce que je branche le câble à cet endroit ?" "Que tient-il ?" sont moins ambiguës lorsque l'objet de l'attention de l'utilisateur est connu.

Dans la vidéo de présentation du Projet Astra de Google, nous voyons un exemple de concentration visuelle exploitée par l'IA. L'utilisateur dessine une flèche rouge tout en demandant à l'IA : "Que puis-je ajouter ici... ?" La réponse a révélé une compréhension de l'intention et de l'attention de l'utilisateur. Si le diagramme se trouvait dans un livre ou sur un écran, ou s'il ne s'agissait pas du tout d'un diagramme mais d'une machine physique, une flèche dessinée à la main n'aurait peut-être pas fonctionné, mais le simple fait de regarder le point d'intérêt aurait pu le faire. L'Eye tracking permettrait ce type d'interrogation avec attention.

Ce type d'assistance avec vue partagée reflète l'interaction entre les personnes lors d'une session d'assistance à distance. L'utilisateur est engagé dans une tâche, tandis qu'un expert à distance l'observe et lui fournit des conseils. Les Smart Glasses permettent une assistance "voir ce que je vois", renforcée par la prise de conscience de l'attention rendue possible par l'eye tracking.

Gestes des yeux

L'une des difficultés liées à la présence d'un appareil sur le visage est de trouver la meilleure façon de le contrôler. La position de repos détendue de nos mains est éloignée de toute commande manuelle sur l'appareil. Cela peut rendre les interactions tactiles lourdes et fatigantes. Certaines Smart Glasses peuvent tenter de surmonter cette limitation avec des contrôleurs sans fil, mais cela peut ne pas être une option lors d'une utilisation mains libres. Les commandes vocales sont un moyen pratique d'interagir avec les Smart Glasses, mais certaines situations nécessitent des interactions silencieuses ou discrètes.

L'Eye tracking offre la possibilité de contrôler l'appareil avec nos yeux.

• La direction du regard peut agir comme un pointeur laser invisible pour indiquer l'attention.

• Le regard + le clignotement peuvent fournir un accusé de réception ou servir de déclencheur.

Ces gestes peuvent indiquer aux smart glasses de rejeter un rappel, de scanner un code QR en vue, de lire à haute voix le message texte qui vient d'arriver ou de raccrocher un appel actif.

Bien que le degré de contrôle soit limité, les gestes oculaires peuvent être appropriés pour des interactions simples telles que la navigation dans l'interface utilisateur , les réponses aux dialogues et l'activation de fonctions fréquemment utilisées.

Affichages adaptatifs

Certaines technologies d'affichage proche de l'œil ne fonctionnent que lorsque l'écran et l'œil sont correctement alignés. Vous avez peut-être déjà fait l'expérience d'un désalignement optique lors de l'utilisation d'un microscope ou de jumelles qui ne vous permettent de voir clairement que lorsque votre œil se trouve dans une petite zone d'alignement. Un Eye Tracker ou Oculomètres peut indiquer à l'écran où se trouve exactement l'œil, momentanément ou en continu, ce qui permet au système d'affichage de s'allumer de manière sélective ou de s'orienter dans la direction optimale malgré les mouvements fréquents de l'œil.

Les smartphones font tout. Avons-nous vraiment besoin de Smart Glasses ?

Lorsque l'iPhone original a été dévoilé, il a été présenté comme la fusion d'un lecteur de musique, d'un téléphone mobile et d'un communicateur Internet. Sur ces trois fonctions, les deux premières se trouvaient déjà dans la poche de nombreuses personnes. Selon une étude réalisée en 2023 par Qualcomm , le communicateur Internet est aujourd'hui la fonction la plus utilisée des smartphones. Les smartphones associés à la recherche sur l'internet nous ont permis d'accéder à tout moment et en tout lieu aux connaissances du monde entier.

Les smart glasses peuvent libérer les mains et les yeux tenus captifs des heures durant par les smartphones. Les assistants IA, capables de voir à travers nos yeux, nous guideront juste à temps et enrichiront notre expérience du monde. Là où les smartphones nous ont apporté la connaissance, les smart glasses nous apporteront le savoir-faire et nous permettront de revenir dans le monde physique, là où est notre place.