Desarrollar la interacción natural hombre-máquina

El Prof. Dr. Kai Essig describe cómo el eye tracking contribuye al desarrollo de interfaces naturales entre el ser humano y los sistemas técnicos.

El Prof. Dr. Kai Essig es catedrático de Factores Humanos y Sistemas Interactivos en la Universidad de Ciencias Aplicadas Rhine-Waal de Kamp-Lintfort (Alemania). Sus campos de investigación son el eye tracking, la percepción visual, el procesamiento de imágenes, la visión por ordenador, la coordinación ojo-mano y la robótica. Sus proyectos actuales se centran, por ejemplo, en gafas inteligentes de Realidad Aumentada (RA) como sistemas de asistencia personalizados en los sectores industrial y residencial, simuladores de realidad virtual (RV) y estudios en el mundo real para sistemas personalizados de asistencia al conductor o formas naturales de interacción para equipos humanos-robots cercanos.

¿Cuál es la visión global de su investigación?

Mi investigación se centra en el estudio de la atención y el comportamiento de acción humanos para trasladar estos hallazgos a modelos computacionales y aplicarlos a sistemas técnicos. Esto permite no solo una interacción persona-máquina (HMI) más natural e intuitiva, sino también que los sistemas técnicos se anticipen al comportamiento humano y proporcionen una retroalimentación de apoyo adecuada.

Algunos ejemplos de sistemas en los que estoy trabajando actualmente son:

• Gafas de realidad aumentada inteligentes que pueden anticipar problemas individuales en una tarea de montaje y proporcionar asistencia audiovisual y sensible al contexto al usuario humano para permitir procesos de aprendizaje autodirigidos.

• Un simulador de atraque de camiones de RV desarrollado internamente junto con nuestros socios de los Países Bajos. Con este simulador, medimos continuamente los datos de un conductor de camión que realiza el proceso de atraque en un centro de distribución, como las coordenadas del volante, la velocidad, la posición del camión, las distancias a la estación de atraque y los datos de Eye tracking. Utilizamos técnicas de aprendizaje automático aplicadas a los datos multimodales registrados para aprender automáticamente el comportamiento típico de los expertos.

Cuando un conductor con menos experiencia utiliza el simulador, el sistema puede comparar automáticamente su rendimiento con el de los expertos y proporcionar información individualizada en una tableta instalada en la cabina del camión. Por ejemplo, recomendaciones sobre los movimientos óptimos del volante o para guiar la atención de los conductores hacia información relevante para el proceso de acoplamiento.

¿Qué le ha inspirado para embarcarse en este viaje y qué le mantiene motivado para seguir adelante?

La motivación es aprovechar las diversas y fascinantes posibilidades técnicas y metodológicas de las técnicas y los avances modernos para crear Tecnologia asistiva inteligente centrada en el usuario que ayude a las personas a llevar una vida autodeterminada de acuerdo con sus capacidades físicas y mentales.

La clave aquí es utilizar enfoques interdisciplinarios y una mezcla de métodos para explorar una HMI natural e intuitiva y optimizarla en función de las necesidades del usuario, como la selección óptima de feedback, decisiones explicables e interacciones naturales.

El objetivo general es poner en práctica técnicas para equipos humanos-máquinas cercanos, en los que la atención no se centre en sustituir al ser humano, sino en apoyarlo a través de la máquina. Por ello, las implicaciones éticas, jurídicas y sociales (ELSI), los aspectos de protección de datos y la participación temprana del usuario en el proceso de desarrollo desempeñan un papel esencial.

¿Qué destacaría como principal hallazgo de su trabajo hasta ahora?

El enfoque interdisciplinar e internacional es el más adecuado para abordar estas cuestiones de investigación actuales y futuras. Diversas disciplinas trabajan en cuestiones de investigación similares y, aunque las abordan desde perspectivas diferentes, llegan a conclusiones generales similares.

El eye tracking, como método de investigación versátil y de conexión, desempeña un papel esencial en muchos escenarios de investigación interdisciplinar.

¿Cómo se ha beneficiado su trabajo del empleo del Eye tracking en sus experimentos?

El eye tracking desempeña un papel fundamental en mi investigación.

• Conocer en profundidad el comportamiento perceptivo humano y la coordinacion ojo-mano en distintos contextos de aplicacion (por ejemplo, en el caso de personas sanas o discapacitadas en procesos de Montaje en la industria o en talleres adecuados) para obtener informacion fiable para los procesos de modelado.

• Como herramienta para obtener información sobre los procesos mentales actuales de los usuarios y proporcionarles una asistencia adecuada y sensible al contexto, por ejemplo, si el usuario desplaza inquieto su atención entre las distintas herramientas de un banco de trabajo, el sistema puede indicarle la herramienta necesaria para realizar el siguiente paso de trabajo.

• Otras investigaciones abordan el estudio de los movimientos oculares en combinación con otros métodos, como las estructuras de representación mental en la memoria a largo plazo (por ejemplo, los deportes). El objetivo es obtener información sobre el comportamiento visual y de acción de los deportistas en el juego en función de su nivel de experiencia (por ejemplo, la calidad de sus estructuras de representación mental) y proporcionar material de entrenamiento para deportistas noveles.

• Evaluar la percepción humana y los aspectos de usabilidad de distintos medios , como interfaces naturales de usuario, páginas web o entornos móviles (por ejemplo, estudios de tiendas).

Desde su perspectiva actual y su amplia experiencia con el eye tracking, ¿qué aconsejaría a quienes se plantean adoptarlo en sus investigaciones?

Como ya se ha dicho, el eye tracking es un método de investigación versátil para muchas disciplinas diferentes, como la psicología, la lingüística, la investigación de la usabilidad, el diseño y la informática.

Gracias a los grandes avances en Hardware y Software, el uso de la tecnología de Eye tracking es cada vez más sencillo, incluso para investigadores sin formación técnica. Además, la mejora del hardware abre cada vez más campos de aplicación, especialmente para los sistemas de eye tracking remotos y móviles.

Esto nos permite investigar no sólo lo tradicional (por ejemplo, cómo se percibe mi sitio web o mi diseño), sino también muchas nuevas e interesantes cuestiones de investigación, especialmente en sinergias con investigadores de distintas disciplinas (como los sistemas de asistencia personalizados en el entorno profesional y de ocio, así como los sistemas de asistencia al conductor).

¿Es capaz de compartir sus ambiciones futuras con su trabajo? ¿A qué preguntas busca respuesta actualmente?

Como ya he dicho, mi objetivo general de investigación es desarrollar interfaces de usuario naturales entre humanos y sistemas técnicos que permitan una comunicación cercana, individualizada y anticipatoria.

Aún quedan muchas cuestiones por explorar: ¿cómo deben diseñarse estas interfaces de forma óptima para permitir una comunicación natural a través de varios sentidos?; ¿cómo deben diseñarse la retroalimentación y las intenciones del sistema técnico para que el usuario pueda entenderlas?; ¿cómo puede el sistema aprender de forma óptima de los datos multimodales del usuario?; y ¿cómo puede el usuario integrarse de forma óptima en el bucle de comunicación al tiempo que puede detener o corregir el sistema en cualquier momento?

Estos puntos deben explorarse y aprender unos de otros en equipos internacionales e interdisciplinarios (por ejemplo, las diferencias culturales). El eye tracking seguirá desempeñando un papel central en estos aspectos. Espero no sólo explorar nuevas aportaciones en la investigación, sino también contribuir a difundir esta tecnología (por ejemplo, mediante interesantes escenarios de aplicación y técnicas de evaluación como la anotación automática de vídeos de miradas).

Información relacionada

Para más información sobre el trabajo del Prof. Dr. Essig, aquí tiene una selección limitada de publicaciones que informan sobre trabajos en los que se emplea la tecnología Eye tracking:

Ribeiro, P., Krause, A. F., Meesters, P., Kural, K., van Kolfschoten, J., Büchner, M. A., & Essig, K. (2021). A VR Truck Docking Simulator Platform for Developing Personalized Driver Assistance . Applied Sciences , 11 (19), 8911.

Lex, H., Essig, K., Knoblauch, A., & Schack, T. (2015). Representaciones cognitivas y procesamiento cognitivo de las tácticas específicas del equipo en el fútbol . PLoS ONE 01/2015; 10(2):e0118219.

Essig, K., Prinzhorn, D., Maycock, J., Dornbusch, D., Ritter, H., & Schack, T. (2012). Automatic Analysis of 3D Gaze Coordinates on Scene Objects Using Data From Eye tracking and Motion Capture Systems, en: Eye tracking Research & Aplicaciones (ETRA 2012) , Santa Barbara, California, USA.

Para más información sobre el Prof. Dr. Essig, visite su página web .