Eye tracking in XR — the 2022 wrap-up and innovations on the horizon
Tobii's acting head of XR, Emma Bauer, takes a look back at XR in 2022, talking about some of the things Tobii has been working on and what innovations she expects to see in 2023.
A medida que el mercado madura, las predicciones indican que la tecnología XR está a punto de llegar al mercado de masas. A principios de 2020, Research and Markets predijo un crecimiento del 65% CAGR para los próximos cinco años (2020-2025), una previsión respaldada por las cifras de MarketWatch y reflejada por el crecimiento de los envíos de auriculares, que se prevé que superen los 30 millones de unidades en 2023. El éxito de la tecnología XR depende de la colaboración entre dominios, ya que garantiza que las tecnologías facilitadoras esenciales, como el eye tracking, los chips 5G, las redes de transporte, la nube XR y el desarrollo de aplicaciones, puedan aprovechar los diseños más recientes.
La pila tecnológica de la tecnología XR es diversa y exige que los fabricantes de auriculares gestionen múltiples proveedores externos que ofrecen productos y servicios especializados. La creación de un ecosistema XR sostenible -que dé soporte a millones de usuarios frecuentes- requiere auriculares ligeros y cómodos, redes de transporte de baja latencia, contenidos atractivos para el usuario, trackeo de cabeza, manos y ojos, XR en la nube y compatibilidad con foveation technology. La integración entre dominios es fundamental para una rápida comercialización.
El reciente diseño de referencia Qualcomm® Snapdragon™ XR2 5G es el primer casco de referencia del mundo con 5G e incorpora Eye tracking de Tobii como tecnología nativa y fundamental. Trabajando juntos durante varias generaciones de productos, Tobii y Qualcomm establecen una vez más el estándar de oro para lo que los usuarios y desarrolladores deben esperar de un auricular VR.
Como tecnología XR fundamental, el eye tracking tiene la capacidad de fomentar la adopción a través de su contribución a la integración de sistemas y la experiencia del usuario.
Desde el punto de vista de la integración de sistemas, crear un ecosistema con millones de usuarios frecuentes exige un uso eficiente de los recursos.
Al aprovechar el proceso de la visión humana, el eye tracking puede aligerar la carga del procesamiento gráfico de los auriculares y reducir el ancho de banda necesario para enviar datos a través de la red a otros auriculares y dispositivos, manteniendo al mismo tiempo la experiencia del usuario.
El renderizado foveated aprovecha el hecho de que nuestros ojos se centran en una región de interés limitada en alta resolución, rodeada por una zona de mezcla de resolución media, fuera de la cual sólo necesitamos renderizado de baja resolución para los objetos de nuestra periferia.
Gracias a la tecnología Tobii Spotlight Technology™, el renderizado dinámico con enfoque aprovecha los datos de enfoque del usuario para reducir drásticamente la carga de procesamiento de los auriculares, liberando recursos para, por ejemplo, soportar auriculares de mayor resolución, mejorar los gráficos y aumentar la velocidad de fotogramas (lo que puede ayudar a reducir las náuseas).
Desde el punto de vista del usuario, construir un ecosistema con millones de usuarios frecuentes requiere contenidos atractivos, lo que a su vez exige incentivos y un punto de entrada bajo para los equipos de desarrollo. Predecir la intención de un usuario de coger un objeto, por ejemplo, se simplifica cuando se dispone de datos de eye tracking. Una aplicacion puede utilizar el punto de mira de un usuario para seleccionar un objeto, eliminando la necesidad de mirar y luego seleccionar con un gesto de la mano o un movimiento de la cabeza. La selección de objetos basada en la mirada imita el modo en que las personas interactúan de forma natural con el mundo que les rodea, lo que aumenta la sensación de inmersión del usuario. Al eliminar la necesidad de mover la cabeza, el eye tracking puede ayudar a reducir la fatiga y las náuseas, factores adicionales que contribuyen a acelerar su adopción.
Gracias al eye tracking, las aplicaciones basadas en avatares adquieren realismo con el movimiento natural de los ojos, aprovechando funciones como el contacto visual social. Junto con los gestos de la cabeza y las manos, las aplicaciones que aprovechan el eye tracking se vuelven más intuitivas, el aprendizaje es sencillo y la experiencia del usuario es memorable, factores que contribuyen a su adopción.
Además de enriquecer la experiencia del usuario, ofrecer nuevas oportunidades de negocio a los desarrolladores y reducir la carga de la GPU y el transporte, el eye tracking contribuye a la facilidad de uso de los auriculares, un factor clave para la RX. El peso y la comodidad de los auriculares son dos de los factores de diseño que más influyen en su adopción.
Al medir continuamente la distancia a los ojos de una persona, se puede detectar, por ejemplo, el deslizamiento. La calibración con eye tracking es precisa porque permite incluir en el cálculo parámetros adicionales, como la distancia entre los ojos de una persona, la posición de la fóvea y las propiedades de reflexión de distintas partes de los ojos.
Juntos, Qualcomm y Tobii han construido una plataforma que facilita la creación de un ecosistema XR sostenible para millones de usuarios frecuentes. Tobii está deseando asociarse con otras partes interesadas, tanto a nivel de integración de sistemas como de desarrollo de aplicaciones. Nuestro SDK, por ejemplo, proporciona muchas herramientas esenciales para reducir la barrera de entrada para el desarrollo de aplicaciones en áreas como la formación, la colaboración remota, el diseño inmersivo y el diagnóstico. ¿Está interesado en colaborar con Tobii?
Esperamos sus noticias.
Tobii's acting head of XR, Emma Bauer, takes a look back at XR in 2022, talking about some of the things Tobii has been working on and what innovations she expects to see in 2023.
Drew Bamford, Vicepresidente Corporativo de HTC Vive Creative Labs, analiza las tendencias clave y los posibles retos que afectan al mercado de las XR.
In this post, we discuss the importance of open standards and how eye tracking as an OpenXR extension is a catalyst for innovation in the XR ecosystem.