Eye tracking en XR: resumen de 2022 e innovaciones en el horizonte

Los comienzos y los finales tienen algo especial. Nos ayudan a resetear, a trabajar hacia nuevos objetivos, a desarrollar nuevas funciones y a resolver nuevos problemas. Aunque 2022 estuvo repleto de retos imprevistos, la pandemia ha demostrado que los seres humanos somos increíblemente ingeniosos: cuando nos enfrentamos a la inestabilidad y la incertidumbre, la creatividad tiende a florecer. Asumir la responsabilidad del segmento XR de Tobii es un reto que he emprendido recientemente, y me complace decir que, desde la perspectiva del eye tracking, no podría haber asumido este papel en mejor momento. Acabamos de anunciar nuestra primera incursión en la RV de consumo masivo. Y nuestra plataforma XR se ha ampliado para admitir diseños ópticos de última generación, lo que proporciona nuevos flujos de datos para mejorar las capacidades de los dispositivos y las experiencias de los usuarios. Una de mis primeras tareas es presentar nuestro resumen de XR 2022 y destacar las innovaciones que podemos esperar en los próximos meses. ¡Que aproveche!

Entrar en el mercado masivo de la RV

Tobii fue seleccionado por Sony Interactive Entertainment para ser el proveedor de tecnología eye tracking para PlayStation VR2, el anuncio (julio 2022).

La colaboración con nuestros clientes a lo largo de los últimos años nos ha ayudado a conformar un enfoque holístico de la integración del eye tracking. Y nos ha permitido desarrollar un subsistema compatible con diversos diseños ópticos utilizando componentes de la mejor relación calidad-precio para ofrecer una solución de eye tracking con una potente potencia de cálculo y una estética atractiva.

Una prueba de que vamos por el buen camino me llegó mientras visitaba a un cliente. Estábamos discutiendo el diseño y la estética de uno de sus prototipos de auriculares cuando uno de los ingenieros me pidió que señalara nuestros componentes de eye tracking: hasta ese punto la colaboración con los actores del sector XR ha dado forma a la discreción de nuestra tecnología.

Nuestra plataforma XR de última generación: diseñada para RA y RV

Comprometernos con OpenXR y colaborar con gigantes tecnológicos, diseñadores de auriculares y desarrolladores nos ha ayudado a adaptar nuestras soluciones a las cambiantes necesidades de los auriculares y el ecosistema. Nos hemos esforzado por aprovechar la experiencia adquirida trabajando con nuestros socios en el diseño de nuestra plataforma XR de nueva generación, optimizando los algoritmos y los controladores de los componentes para lograr una baja latencia y un consumo mínimo de energía que garanticen el mejor uso de los recursos. Pero, como he mencionado antes, estoy viendo que se pone mucho énfasis en la estética, lo que tiene sentido porque los wearables tienen que ser cómodos y atractivos. Para conseguirlo, hemos trabajado mucho en nuestros diseños para que funcionen con componentes discretos y ligeros, colocados de tal forma que no interrumpan la experiencia del usuario.

Para los fabricantes de equipos originales que deseen adoptar la óptica de visión próxima (pancake), nuestra plataforma XR de nueva generación es compatible con cascos de realidad virtual y gafas de realidad aumentada. Y aunque hemos diseñado nuestra plataforma para que funcione con componentes estándar, creo que la experiencia esencial que aportamos es nuestro conocimiento de la colocación óptima, cómo evitar cambios invasivos en la arquitectura y garantizar que el diseño final del dispositivo sea apto para la producción en masa.

Invertir en capacidades para optimizar los dispositivos

Este año hemos seguido invirtiendo en funciones de optimización de dispositivos, como el IPD basado en software, el soporte de posicionamiento y la compensación de deslizamiento. El ajuste del IPD mediante software evita la necesidad de utilizar torpes técnicas de medición con espejos y reglas, pero también elimina la necesidad de una rueda física de ajuste del IPD y mejora los algoritmos de distorsión estática mediante una alineación ideal desde el primer momento. Eye tracking es la solución perfecta para proporcionar los datos necesarios para soluciones automatizadas de ajuste de IPD que mantengan a los usuarios alineados con el punto óptimo de la lente. Hemos trabajado en la compensación del deslizamiento y en una solución que denominamos guía de posicionamiento, que ayuda al usuario a colocar los auriculares correctamente, tanto en vertical como en horizontal, lo que contribuye a garantizar que los usuarios se encuentren en el punto óptico óptimo y vean la pantalla con total claridad.

En el horizonte

Una de las principales razones por las que el eye tracking se ha convertido en parte integrante de los cascos modernos es la forma en que el renderizado dinámico por fóveas exprime los recursos de los cascos. Su técnica hermana, el transporte dinámico foveated, que ayuda a reducir los requisitos de ancho de banda, está empezando a despegar a medida que la comunidad de ISV profundiza en el eye tracking y en cómo aprovecharlo para permitir la computación fuera del dispositivo.

Las imágenes borrosas, las imágenes fantasma y los reflejos causados por la distorsión de la lente son problemáticos porque molestan al usuario y pueden provocar náuseas a algunas personas. Además de las soluciones de "punto dulce" de las que acabo de hablar, recientemente hemos estado trabajando en una nueva idea para mejorar las experiencias XR garantizando que la pupila del usuario esté siempre en el punto dulce. El concepto consiste en sustituir la compensación estática por una solución dinámica que mantenga la nitidez de las imágenes y elimine los efectos no deseados a medida que el usuario mueve los ojos. Para ello, hemos estado trabajando en una nueva señal de eye tracking que proporciona la posición de la pupila en 3D en tiempo real. En 2023 publicaremos un libro blanco al respecto.

A medida que el eye tracking se convierte en una característica integral de los dispositivos XR, creo que podemos esperar ver dispositivos con pantallas varifocales que ajusten dinámicamente la distancia focal en función de la dirección de la mirada. Este tipo de sistema de visualización de última generación facilitará la interacción intuitiva con objetos virtuales y ayudará a resolver el conflicto entre vergencia y acomodación, reduciendo la fatiga ocular causada por la falta de correspondencia entre las señales de vergencia y acomodación del ojo.

Nuevas posibilidades para socializar y hacer deporte

Cuando se trata de socializar, no es ningún secreto que las tecnologías de sensores como el eye tracking ayudan a dar vida a los avatares con expresiones auténticas y movimientos oculares que imitan al usuario en tiempo real. Me gusta especialmente un experimento que hicimos con LIV y Ready Player Me utilizando el juego Racket: Nx porque muestra cómo el eye tracking da expresividad al avatar del jugador. Uno de mis colegas ha pasado algún tiempo habilitando nuestro eye tracking en la popular herramienta de creación de avatares MetaHuman de Epic. Si quieres leer sobre ello, te recomiendo su post Un experimento de expresión de la mirada con MetaHuman .

El mundo del deporte se ha revelado como una aplicacion ideal para el eye tracking, si se integra en wearables deportivos como cascos de hockey y gorras de golf, por ejemplo, se desencadena un flujo unico de informacion que puede ponerse a disposicion de aficionados, entrenadores, preparadores fisicos y atletas. Este tipo de solución crea nuevas oportunidades para que los servicios de streaming, por ejemplo, ofrezcan la acción del partido desde el punto de vista del jugador: no sólo lo que ve, sino también cómo escanea la escena que tiene delante. Y para el análisis del rendimiento, los datos proporcionan a entrenadores y atletas información valiosa sobre el juego y en qué se centran los jugadores en los momentos estratégicos.

Permitir la disrupción del sector: formación y salud

La escasez de pilotos en Estados Unidos podría alcanzar un déficit de hasta 30.000 pilotos en 2025. Las cifras han disminuido debido a los planes de jubilación anticipada ofrecidos a los altos cargos durante la pandemia, al menor número de pilotos militares que se pasan a las aerolíneas comerciales y a que los métodos de formación no pueden seguir el ritmo de la demanda. Para hacer frente a este último problema, nuestro socio, VTR, ha desarrollado una solución de formación de pilotos basada en la RV diseñada para mejorar los resultados de la formación y reducir los costes. El tiempo de simulador tradicional es un bien caro y muy demandado. La solución de VTR sustituye las formas tradicionales en que los pilotos aprenden de manuales y modelos en papel para desarrollar habilidades sólidas, garantizando que el tiempo en el simulador sea lo más eficaz posible.

Dado que el eye tracking es una herramienta digital que proporciona información sobre los seres humanos, ayuda a transformar en digitales las soluciones asistenciales tradicionales basadas en la observación manual. Pero la transformación digital mediante el uso de la RV aporta la ventaja añadida de la movilidad, lo que a menudo da lugar a soluciones semiautomatizadas muy flexibles (y más baratas). Este año, nuestra colaboración con Olleyes, una empresa líder de MedTech especializada en soluciones de atención oftalmológica basadas en la RV, llegó a buen puerto. Como explica Alberto González, Consejero Delegado de OIleyes, al pasar las evaluaciones oftalmológicas a la RV, aumenta el rendimiento de los pacientes y las mediciones se vuelven objetivas y precisas. El aspecto más valioso que menciona se refiere a cómo la RV aligera el esfuerzo necesario, ayudando a los pacientes a realizar las pruebas y a los médicos a llevarlas a cabo. A largo plazo, pretenden trasladar sus soluciones al hogar. Imagino que sería mucho más divertido, por no decir cómodo, sentarse en casa y hacer pruebas oculares con un casco de RV que interminables visitas a la clínica más cercana.

Los incesantes esfuerzos de todo el ecosistema XR han puesto a dispositivos, contenidos y aplicaciones en una vía de rápido crecimiento hacia la madurez. Y no tengo motivos para creer que 2023 vaya a ser diferente. Seguiremos contribuyendo a la privacidad y la seguridad a través de nuestra política de transparencia de datos , el estándar OpenXR y la construcción general del metaverso.

Con la optimización de los dispositivos a la cabeza de la lista de la compra de los fabricantes de equipos originales, mi trabajo consiste en asegurarme de que Tobii siga desarrollando soluciones que garanticen un bajo nivel de computación con cero deformación/distorsión y ofrezcan la mejor experiencia gráfica posible. Mientras los grandes fabricantes se centran en auriculares más ligeros y finos, con una calidad de imagen excelente y una gran estética, me gustaría dejaros con una reflexión: algunos de los conceptos XR más deseables necesitan un eye tracking preciso de la mirada para funcionar.