Développer l'interaction naturelle entre l'homme et la machine

Le professeur Kai Essig explique comment l'eye tracking contribue aux développements de pointe en matière d'interfaces utilisateur naturelles entre l'homme et les systèmes techniques.

Kai Essig est professeur de facteurs humains et de systèmes interactifs à l'Université des sciences appliquées du Rhin-Waal à Kamp-Lintfort, en Allemagne. Ses domaines de recherche comprennent l'eye tracking, la perception visuelle, le traitement d'images, la vision par ordinateur, la coordination œil-main et la robotique. Ses projets actuels portent, par exemple, sur des lunettes de réalité augmentée (RA) intelligentes en tant que systèmes d'assistance personnalisés dans les secteurs industriel et résidentiel, sur des simulateurs de réalité virtuelle (RV) et sur des études en situation réelle pour des systèmes d'aide à la conduite personnalisés ou des formes naturelles d'interaction pour des équipes homme-robot proches.

Quelle est la vision globale de votre recherche ?

Mes recherches se concentrent sur l'étude de l'attention humaine et du comportement d'action afin de transférer ces résultats dans des modèles informatiques et de les appliquer à des systèmes techniques. Cela permet non seulement d'obtenir une interaction homme-machine (IHM) plus naturelle et intuitive, mais aussi de permettre aux systèmes techniques d'anticiper le comportement humain et de fournir un retour d'information adéquat.

Voici quelques exemples de systèmes sur lesquels je travaille actuellement :

• Des lunettes AR intelligentes d'assistance qui peuvent anticiper les problèmes individuels dans une tâche d'Assemblage et fournir une assistance contextuelle et audiovisuelle sur mesure à l'utilisateur humain pour permettre des processus d'apprentissage autodirigés.

• Un simulateur VR d'accostage de camion développé en interne avec nos partenaires néerlandais. Avec ce simulateur, nous mesurons en continu les données d'un chauffeur de camion effectuant le processus d'accostage dans un centre de distribution, telles que les coordonnées du volant, la vitesse, la position du camion, les distances par rapport à la station d'accostage et les données d'Eye tracking. Nous utilisons des techniques d'apprentissage automatique appliquées aux données multimodales enregistrées pour apprendre automatiquement le comportement typique des experts.

Lorsqu'un conducteur moins expérimenté utilise le simulateur, le système peut automatiquement comparer ses performances à celles des experts et lui fournir un retour d'information personnalisé sur une tablette installée dans la cabine du camion. Par exemple, des recommandations pour des mouvements optimaux du volant ou pour guider l'attention des conducteurs vers des informations pertinentes pour le processus d'accostage.

Qu'est-ce qui vous a poussé à entreprendre ce voyage et qu'est-ce qui vous motive à continuer ?

La motivation est d'utiliser les diverses et fascinantes possibilités techniques et méthodologiques des techniques et développements modernes pour créer des technologies d'assistance intelligentes centrées sur l'utilisateur qui aident les personnes à mener une vie autodéterminée en accord avec leurs capacités physiques et mentales.

Il s'agit ici d'utiliser des approches interdisciplinaires et un mélange de méthodes pour explorer une IHM naturelle et intuitive et l'optimiser en fonction des besoins de l'utilisateur, tels que la sélection optimale des réactions, les décisions explicables et les interactions naturelles.

L'objectif global est de mettre en œuvre des techniques pour des équipes homme-machine proches, où l'accent n'est pas mis sur le remplacement de l'homme mais sur le soutien de l'homme par la machine. Par conséquent, les implications éthiques, juridiques et sociales (ELSI), les aspects liés à la protection des données et l'implication précoce de l'utilisateur dans le processus de développement jouent un rôle essentiel.

Quel est le principal résultat de votre travail jusqu'à présent ?

L'approche interdisciplinaire et internationale est la plus appropriée pour répondre à ces questions de recherche actuelles et futures. Plusieurs disciplines travaillent sur des questions de recherche similaires - bien qu'elles les abordent sous des angles différents, elles parviennent à des conclusions générales similaires.

L'Eye tracking, méthode de recherche polyvalente et connectée, joue un rôle essentiel dans de nombreux scénarios de recherche interdisciplinaire.

Comment vos travaux ont-ils bénéficié de l'utilisation de l'eye tracking dans vos expériences ?

L'Eye tracking joue un rôle majeur dans mes recherches.

• Comprendre en profondeur le comportement perceptif humain et la coordination œil-main dans différents contextes d'application (par exemple, pour des personnes en bonne santé ou des personnes handicapées dans des processus d'Assemblage dans l'industrie ou dans des ateliers appropriés) afin d'obtenir des informations fiables pour les processus de modélisation.

• En tant qu'outil permettant de comprendre les processus mentaux actuels des utilisateurs afin de leur fournir une assistance adéquate et adaptée au contexte, par exemple, si l'utilisateur déplace sans cesse son attention entre les différents outils d'un établi, le système peut lui indiquer l'outil nécessaire pour effectuer l'étape de travail suivante.

• D'autres recherches portent sur l'étude des mouvements oculaires en combinaison avec d'autres méthodes, telles que les structures de représentation mentale dans la mémoire à long terme (par exemple, les sports). L'objectif est de mieux comprendre le comportement visuel et actionnel des athlètes dans le jeu en fonction de leur niveau d'expertise (par exemple, la qualité de leurs structures de représentation mentale) et de fournir du matériel d'entraînement aux novices en matière de sport.

• Évaluer la perception humaine et les aspects de convivialité de différents médias , tels que les interfaces utilisateur naturelles, les pages web ou les environnements mobiles (par exemple, études en magasin).

D'après votre point de vue actuel et votre vaste expérience de l'eye tracking, que conseilleriez-vous à ceux qui envisagent de l'adopter dans le cadre de leurs recherches ?

Comme indiqué ci-dessus, l'eye tracking est une méthode de recherche polyvalente pour de nombreuses disciplines différentes, telles que la psychologie, la linguistique, la recherche sur la convivialité, la conception et l'informatique.

Grâce à d'importants développements en matière de matériel et de logiciel, l'utilisation de la technologie de l'eye tracking est devenue de plus en plus facile, même pour les chercheurs n'ayant pas de formation technique. En outre, l'amélioration du Matériel ouvre de plus en plus de domaines d'application, notamment pour les systèmes d'eye tracking à distance et mobiles.

Cela nous permet d'étudier non seulement les questions traditionnelles (par exemple, comment mon site web ou mon design sont-ils perçus), mais aussi de nombreuses nouvelles questions de recherche intéressantes, notamment en synergie avec des chercheurs de différentes disciplines (telles que les systèmes d'assistance personnalisés dans l'environnement professionnel et de loisirs, ainsi que les systèmes d'aide à la conduite).

Êtes-vous en mesure de partager vos ambitions futures avec votre travail ? Quelles sont les questions auxquelles vous cherchez actuellement des réponses ?

Comme indiqué ci-dessus, l'objectif général de mes recherches est de développer des interfaces utilisateur naturelles entre les humains et les systèmes techniques afin de permettre une communication étroite personnalisée et anticipée.

De nombreuses questions restent à explorer, telles que : comment ces interfaces doivent-elles être conçues de manière optimale pour permettre une communication naturelle via les différents sens ; comment le retour d'information et les intentions du système technique doivent-ils être conçus pour que l'utilisateur puisse les comprendre ; comment le système peut-il apprendre de manière optimale à partir des données multimodales de l'utilisateur ; et comment l'utilisateur peut-il être intégré de manière optimale dans la boucle de communication tout en étant en mesure d'arrêter ou de corriger le système à tout moment ?

Ces points doivent être explorés et appris les uns des autres au sein d'équipes internationales et interdisciplinaires (par exemple, les différences culturelles). L'Eye tracking continuera à jouer un rôle central dans ces aspects. J'espère non seulement explorer de nouvelles contributions dans le domaine de la recherche, mais aussi contribuer à la diffusion de cette technologie (par exemple, grâce à des scénarios d'application intéressants et à des techniques d'évaluation telles que l'annotation automatique des vidéos du regard).

Informations connexes

Pour en savoir plus sur les travaux du professeur Essig, voici une sélection limitée de publications faisant état de travaux utilisant la technologie de l'eye tracking :

Ribeiro, P., Krause, A. F., Meesters, P., Kural, K., van Kolfschoten, J., Büchner, M. A., & Essig, K. (2021). A VR Truck Docking Simulator Platform for Developing Personalized Driver Assistance . Applied Sciences , 11 (19), 8911.

Lex, H., Essig, K., Knoblauch, A. et Schack, T. (2015). Représentations cognitives et traitement cognitif des tactiques spécifiques à l'équipe dans le football . PLoS ONE 01/2015 ; 10(2):e0118219.

Essig, K., Prinzhorn, D., Maycock, J., Dornbusch, D., Ritter, H., & Schack, T. (2012). Automatic Analysis of 3D Gaze Coordinates on Scene Objects Using Data From Eye-Tracking and Motion Capture Systems, In : Eye tracking Research & Applications (ETRA 2012) , Santa Barbara, Californie, États-Unis.

Pour plus d'informations sur le professeur Essig, veuillez consulter sa page web.