Por qué el eye tracking es importante para los modelos del mundo de la IA

La IA está mejorando cada vez más en el reconocimiento y la generación de contenidos. El siguiente reto es comprender cómo funciona el mundo físico. Los modelos del mundo tienen como objetivo ayudar a los sistemas de IA a construir representaciones de entornos, objetos, acciones y sus consecuencias. Sin embargo, aprender únicamente a partir de vídeos deja de lado una parte importante de cómo los seres humanos experimentan el mundo: la atención.

Una cámara puede grabar todo lo que se encuentra dentro de su campo de visión. Los seres humanos no procesamos una escena exactamente de la misma manera. Cuando entramos en una habitación, realizamos el montaje de un mueble, preparamos una comida o nos abrimos paso por una calle concurrida, nuestros ojos seleccionan continuamente información del entorno. Miramos un objeto y luego otro. Comprobamos algo antes de cogerlo. Volvemos la mirada hacia algo que requiere una mayor atención. Estos patrones contienen información que el vídeo convencional no capta de forma explícita.

Para los desarrolladores que trabajan en modelos del mundo, robótica e inteligencia artificial incorporada, eye tracking puede aportar una capa de datos sobre la atención humana a los vídeos en primera persona —, lo que proporciona ejemplos más completos de cómo las personas perciben e interactúan con entornos reales.

¿Qué son los modelos del mundo?

Un modelo del mundo es un modelo de IA diseñado para construir una representación interna de un entorno y de cómo este cambia. En lugar de limitarse a reconocer que en un fotograma de vídeo aparecen, por ejemplo, una taza, una mesa y una mano, un modelo del mundo útil podría aprender las relaciones que existen entre ellos: los objetos persisten cuando apartamos la mirada, las acciones tienen consecuencias y cierta información visual cobra relevancia en función de la tarea que se esté realizando.

Esta capacidad es especialmente importante para la IA incorporada —, es decir, los sistemas de IA como los robots o los dispositivos inteligentes que deben funcionar en entornos físicos. El entrenamiento de estos sistemas requiere conjuntos de datos amplios y diversos que muestren el mundo en acción. Por lo tanto, el vídeo se está convirtiendo en una fuente cada vez más importante de datos de entrenamiento, pero el vídeo y la percepción humana no son lo mismo.

De limitarse a ver el mundo a comprenderlo

El vídeo permite capturar entornos, objetos, movimientos e interacciones, lo que proporciona a los modelos una gran cantidad de información sobre lo que ocurre en el mundo físico. Sin embargo, existe una diferencia fundamental entre lo que graba una cámara y aquello a lo que un ser humano presta realmente atención: una cámara captura todo lo que se encuentra dentro de su campo de visión. Eye tracking revela hacia dónde mira realmente una persona.

Cuando se combinan con vídeos en primera persona, los datos sobre la mirada aportan información sobre cómo las personas exploran visualmente su entorno — qué les llama la atención, qué miran mientras realizan una tarea y cómo se desplaza su mirada al interactuar con el mundo.

Imagina que grabas a alguien preparándose una taza de café con una cámara montada en la cabeza. El vídeo podría captar la cafetera, las tazas, los botones, la encimera, otros electrodomésticos, las manos de la persona y docenas de objetos del entorno. Solo a partir del vídeo, el modelo tiene a su disposición todos esos píxeles.

Pero al añadir los datos de eye tracking al conjunto de datos, también se puede observar que la persona miró la pantalla antes de pulsar un botón, dirigió la mirada hacia la taza mientras la colocaba, comprobó el nivel de café mientras se servía y desvió la atención hacia el siguiente objeto antes de estirar la mano para cogerlo. La escena no ha cambiado. Lo que ha cambiado es la información disponible sobre la persona que interactúa con ella.

En el caso de los modelos del mundo real, esto aporta otra capa de contexto a las acciones captadas en vídeo. En lugar de limitarse a observar lo que ocurrió, el conjunto de datos puede contener información sobre la atención visual que acompañó a una acción —, lo que contribuye a crear representaciones más completas de cómo los seres humanos perciben el mundo físico e interactúan con él.

Reconocer los matices: principiante frente a experto

Los expertos y los principiantes no siempre prestan atención a los mismos aspectos. Un técnico con experiencia puede inspeccionar de inmediato un componente que un novato pasa por alto. Un operario cualificado puede supervisar varios indicadores siguiendo una secuencia concreta. Alguien que esté aprendiendo una tarea puede tardar más tiempo en buscar la información que necesita.

Estas diferencias pueden resultar muy útiles a la hora de recopilar demostraciones de tareas humanas para sistemas de IA, pero muchos de los matices no pueden captarse únicamente a partir de un vídeo convencional. Dos personas pueden, en última instancia, realizar la misma acción, pero siguiendo trayectorias visuales muy diferentes para llegar a ella.

Los datos sobre el seguimiento ocular aportan otra dimensión a estas demostraciones, al mostrar en qué prestan atención las distintas personas. Esto permite captar no solo las acciones de los expertos, sino también algunos de los comportamientos visuales que acompañan a su experiencia.

Captura datos de campo multimodales mediante las gafas Tobii Glasses X

Los modelos del mundo necesitan datos detallados del mundo real — que abarquen a diferentes personas, entornos, situaciones y tareas. Y el mundo físico es, por naturaleza, multimodal. No percibimos lo que nos rodea solo a través de la vista: vemos, oímos, nos movemos, nos orientamos y dirigimos nuestra atención de forma simultánea.

Tobii Glasses X ofrece una plataforma wearable para capturar varios de estos flujos de datos del mundo real desde la perspectiva humana.

En esencia, las Tobii Glasses X combinan el eye tracking con el vídeo en primera persona, captando tanto lo que ocurre a su alrededor como hacia dónde mira la persona. Pero el dispositivo también cuenta con sensores adicionales que pueden aportar un contexto valioso para el entrenamiento de la IA:

• Audio estéreo procedente de dos micrófonos

• Acelerómetros

• Un giroscopio que detecta el movimiento

• Un magnetómetro que proporciona información sobre la orientación

La ventaja para los desarrolladores de IA no radica simplemente en la disponibilidad de varios tipos de datos, sino en la capacidad de captar estas diferentes señales de forma conjunta, durante la misma interacción en el mundo real y desde la misma perspectiva humana.

Pensemos, de nuevo, en una persona que se prepara una taza de café. El vídeo de la escena proporciona el entorno visual y la secuencia de eventos. El eye tracking muestra hacia dónde dirige la persona su atención. El audio podría captar el sonido de la cafetera, una instrucción verbal u otros eventos del entorno. Los datos de movimiento pueden aportar información sobre cómo mueve la cabeza el usuario mientras busca un objeto o realiza la tarea, mientras que los datos de orientación proporcionan contexto adicional sobre su posición y cómo se desplaza por el entorno.

En conjunto, estas señales ofrecen una representación más completa de la experiencia que la que cualquiera de ellas podría ofrecer por sí sola.

Este mismo principio cobra aún más relevancia en entornos complejos. Imaginemos a un técnico experimentado diagnosticando una máquina averiada. Un vídeo en primera persona puede grabar lo que el técnico ve y hace. Eye tracking puede revelar qué medidores, componentes o indicadores de advertencia reciben su atención y en qué orden. El audio puede captar un sonido inusual procedente de la máquina o la comunicación oral con un compañero. Los datos de movimiento y orientación pueden aportar más contexto sobre cómo se desplaza el técnico mientras inspecciona las diferentes partes del equipo.

Para los desarrolladores de modelos del mundo y de IA incorporada, los conjuntos de datos multimodales como estos pueden ofrecer ejemplos más completos de la relación entre el entorno, la atención, el sonido, el movimiento y la acción.

Captar la complejidad del mundo real

Otro aspecto importante de wearable es la capacidad de ir más allá de los entornos controlados.

Los entornos del mundo real son complejos e impredecibles. Las personas se mueven de forma diferente, abordan las tareas de maneras distintas, se enfrentan a distracciones, reaccionan ante los sonidos y adaptan su comportamiento a las circunstancias cambiantes. Los sistemas de inteligencia artificial diseñados para funcionar en estos entornos deben, en última instancia, tener en cuenta esta variabilidad.

Dado que las Tobii Glasses X son un dispositivo wearable, se pueden recopilar datos mientras las personas se mueven de forma natural e interactúan con su entorno. Esto abre nuevas posibilidades para recopilar datos de formación centrados en las personas en ámbitos que abarcan desde las actividades cotidianas hasta la fabricación, el mantenimiento, la logística, la robótica y otras tareas complejas del mundo real.

Además, ofrece la oportunidad de recopilar demostraciones de diferentes personas y con distintos niveles de experiencia. En lugar de entrenar un sistema de IA a partir de un único ejemplo estandarizado, los desarrolladores pueden, en teoría, capturar múltiples formas de abordar el mismo problema —, junto con la atención visual, el movimiento, el audio y el contexto ambiental asociados a cada enfoque.

Los datos multimodales no indican automáticamente a un sistema de IA por qué una persona se comportó de una manera concreta, ni todas las aplicaciones de IA necesitan todos los flujos de datos disponibles. Sin embargo, la combinación de estas señales puede proporcionar a los desarrolladores un conjunto de datos más completo a partir del cual identificar relaciones y patrones que quizá no sean visibles solo en el vídeo.

Incorporar la perspectiva humana a los modelos mundiales

En conclusión: los modelos del mundo suponen un cambio respecto a la IA, que se centra principalmente en reconocer o generar información, hacia sistemas diseñados para construir representaciones más completas del mundo físico y de cómo este cambia.

El vídeo puede mostrar cómo funciona la IA lo que ocurre. Las demostraciones humanas pueden mostrar lo que hacemos. Eye tracking puede añadir dónde dirigimos nuestra atención. Y los datos adicionales de los sensores — —incluidos el audio, el movimiento y la orientación — — pueden aportar más contexto sobre la experiencia y el entorno en el que tienen lugar esas acciones.

En el caso de los modelos del mundo y la IA incorporada, esto puede aportar una dimensión importante a los datos de entrenamiento: no se trata simplemente de registrar el mundo físico, sino de captar mejor el contexto en torno a cómo los seres humanos lo perciben, se orientan en él e interactúan con él.