Eye tracking en la realidad virtual y la realidad aumentada: impulsando el futuro de la tecnología inmersiva

A medida que avanzan las tecnologías de realidad virtual y Realidad Aumentada, el eye tracking se está convirtiendo en una de las características más influyentes en estos entornos inmersivos. Lo que antes era una herramienta de nicho para laboratorios de investigación, ahora se ha integrado en los cascos de realidad virtual para consumidores y en las aplicaciones de Realidad Aumentada para empresas, lo que abre nuevas oportunidades en el diseño de interacción, la formación, los videojuegos y mucho más.

En esta entrada se analiza cómo influye el eye tracking en el desarrollo de la realidad virtual (RV) y La Realidad Aumentada (RA), los retos técnicos y centrados en las personas que plantea, y hacia dónde se dirige en el futuro.

Eye tracking en la realidad extendida (XR) consiste en utilizar sensores y cámaras para observar y medir la mirada del usuario e identificar qué está mirando, cuánto tiempo mantiene la mirada fija y cómo se mueven sus ojos dentro de un entorno 3D.

Recoge:

• Fijaciones: Puntos en los que los ojos se detienen para enfocar.

• Sacadas: Movimientos oculares rápidos entre puntos de enfoque.

• Dilatación de la pupila: Indica atención o carga cognitiva.

• Patrones de parpadeo: Pueden indicar cansancio o estados emocionales.

Estos datos sobre la mirada en tiempo real contribuyen a que los entornos virtuales y aumentados sean más intuitivos, personalizados y eficientes.

1. Mayor interacción e inmersión

La realidad virtual tradicional depende en gran medida de los mandos y los gestos. Eye tracking introduce una nueva forma de interacción, que permite a los usuarios mirar objetos para seleccionarlos, ampliar la imagen o activar eventos.

• Interacción basada en la mirada: Selecciona o activa con la mirada.

• Renderizado foveal: Solo se representa en alta resolución la zona enfocada, lo que reduce la carga de procesamiento y mejora el rendimiento.

2. Formación, simulación y evaluación

Sectores como la aviación, la ingeniería y la medicina están utilizando la realidad virtual combinada con eye tracking para:

• Analizar los comportamientos relacionados con la atención y la toma de decisiones durante las simulaciones.

• Mejora la formación en materia de seguridad comprobando si los usuarios prestan atención a los aspectos fundamentales.

• Personalizar la formación en tiempo real en función de los patrones de mirada de cada persona.

3. Realidad aumentada industrial y empresarial

Eye tracking permite trabajar sin necesidad de utilizar las manos en las naves industriales o en los servicios de campo y garantiza el cumplimiento normativo.

• Comprueba si los técnicos siguen las instrucciones visuales

• Habilitar interfaces que respondan a la dirección en la que mira el trabajador

• Las gafas de realidad aumentada con eye tracking permiten supervisar el cumplimiento de las tareas y ofrecer correcciones en el momento.

4. Educación e investigación cognitiva

Los docentes y los investigadores utilizan el eye tracking para obtener información sobre los comportamientos de aprendizaje.

• Visualiza cómo interactúan los alumnos con el material didáctico.

• Comenta cómo ha sido la participación y la comprensión.

• Ayudar a los alumnos con neurodiversidad mediante un ritmo visual adaptado.

5. Juegos y entretenimiento

En el ámbito de los videojuegos, el eye tracking se utiliza para:

• Jugabilidad adaptativa, en la que los personajes reaccionan cuando los miras fijamente durante demasiado tiempo.

• Apuntar o moverse mediante la mirada.

• Detección de emociones mediante la mirada y la respuesta pupilar para la narración inmersiva.

Tendencias actuales a tener en cuenta

1. El auge del renderizado foveal

Grandes empresas como Meta, Apple y HTC promueven el renderizado foveado como una característica estándar. Esto mejora considerablemente la frecuencia de fotogramas al tiempo que reduce la carga de la GPU, lo que hace que la realidad extendida (XR) de alta fidelidad sea más escalable.

2. Eye tracking + IA

La combinación del eye tracking con el aprendizaje automático permite a los sistemas:

• Predecir la intención del usuario.

• Personaliza el contenido de forma dinámica.

• Detecta los signos de cansancio o confusión y adapta el ritmo o la dificultad en consecuencia.

3. Integraciones generalizadas en dispositivos de consumo

Con el lanzamiento de dispositivos como el Apple Vision Pro, el eye tracking ha dejado de ser exclusivo de la investigación y las herramientas empresariales. Se prevé que los futuros cascos destinados al gran público incorporen esta tecnología de serie.

4. Interacción sensible al contexto

El eye tracking se combina con la detección del entorno (como la cartografía espacial y el seguimiento de las manos) para desarrollar interfaces de usuario contextuales que respondan de forma intuitiva sin necesidad de pulsar botones ni dar órdenes verbales.

Retos técnicos y centrados en las personas

A pesar de su gran potencial, el eye tracking en la realidad extendida (XR) sigue enfrentándose a algunos retos:

Calibración del hardware

• Para que el eye tracking sea preciso, es necesaria una calibración precisa, lo que puede resultar complicado para los usuarios que llevan gafas, tienen una forma ocular poco habitual o padecen determinadas afecciones oculares.

• También resulta complicado mantener la calibración durante el movimiento, sobre todo en escenarios de realidad virtual activos.

Comodidad y ajuste

• No todos los usuarios llevan los cascos de la misma manera, lo que puede provocar un seguimiento irregular.

• Un uso prolongado puede provocar fatiga, sobre todo si el sistema interpreta erróneamente el comportamiento de la mirada.

Diversidad en el comportamiento de la mirada

• Las diferencias culturales, neurológicas y relacionadas con la edad influyen en la forma en que las personas perciben las cosas. Los diseñadores deben evitar las interfaces de mirada «únicas para todos».

Interpretación de datos

• Los datos brutos sobre la mirada contienen ruido. Extraer información significativa, como «intención» o «interacción»,», requiere algoritmos avanzados y, en ocasiones, conjuntos de datos de entrenamiento específicos del ámbito en cuestión.

De cara al futuro: ¿qué nos depara el futuro?

El eye tracking en la realidad virtual (RV) y la realidad aumentada (RA) está pasando de ser una novedad a convertirse en una tecnología fundamental. A medida que avanza el hardware y se desarrollan los ecosistemas de software, podemos esperar que:

• Interfaces de realidad extendida (XR) más naturalistas que no requieren el uso del tacto ni de la voz.

• Un mayor uso de contenidos adaptativos que responden a la atención y a las emociones en tiempo real.

• Una colaboración más estrecha entre diseñadores de experiencia de usuario, neurocientíficos e ingenieros de inteligencia artificial para crear experiencias intuitivas.

Reflexiones finales

El eye tracking transforma la forma en que interactuamos con tecnologías inmersivas como la realidad virtual (RV) y la realidad aumentada (RA). Revela hacia dónde miran los usuarios y permite que los sistemas reaccionen a su atención en tiempo real. Con las soluciones avanzadas de eye tracking de Tobii, entre las que se incluye el Tobii XR SDK y la integración de eye tracking en los principales cascos de realidad virtual, los desarrolladores pueden crear experiencias que detectan la mirada y se adaptan automáticamente al comportamiento del usuario.

Para los diseñadores, desarrolladores y estrategas de producto, el mensaje es claro: empezad a diseñar teniendo en cuenta la mirada. La tecnología de Tobii permite
las aplicaciones de XR mejoren el rendimiento mediante el renderizado foveal, aumenten la implicación del usuario con interacciones fluidas y generen análisis más inteligentes al capturar datos sobre la atención visual. A medida que avancen las experiencias inmersivas, el eye tracking se convertirá en un elemento tan esencial para la XR como el seguimiento de movimiento y la háptica —, especialmente cuando cuente con la tecnología de Tobii.