Eye tracking: la autenticidad del metaverso

Hace un par de meses hice un viaje a Estados Unidos, el primero en más de 18 meses. El propósito de la visita era reunirme con clientes, socios y colegas. Para algunos, el nuestro era el primer encuentro comercial cara a cara que tenían en casi dos años. La experiencia, y seguramente no soy el único con este sentimiento, fue una mezcla de alivio y entusiasmo. Después de una ausencia tan prolongada, el encuentro IRL se sentía como una prueba de la necesidad humana de conexión. Y eso me hizo pensar en las tecnologías que han permitido a algunas empresas seguir funcionando durante la pandemia y en lo importante que es que el mundo de la tecnología siga haciendo evolucionar esas soluciones en la línea de la intuitividad y la auténtica conectividad humana.

Para este post, mi colega Maggie y yo nos sentamos a hablar sobre el estado de la RX, el metaverso, lo que significa para todos y cómo el eye tracking aportará un nivel de autenticidad.

Últimamente se habla mucho del metaverso, al menos en algunos sectores de la industria tecnológica.

Johan, mi primera pregunta es: ¿qué crees que es el metaverso? ¿Qué opinas al respecto?

Aunque tal vez no se etiquete necesariamente como tal, creo que el metaverso lleva tiempo gestándose. Ha surgido porque la gente ha establecido conexiones innovadoras entre tecnologías en evolución. El metaverso es un espacio de realidad mixta (RM) donde la gente puede reunirse para trabajar, jugar, colaborar e incluso ganarse la vida, ya sea como ellos mismos o como un avatar. Es un campo de juego nivelado en el que cualquiera puede entrar desde cualquier dispositivo y en cualquier lugar. Las plataformas tecnológicas y las soluciones metaversales resolverán los problemas de tiempo y espacio para que estar juntos en la RM resulte auténtico y coherente.

¿Por qué cree que el metaverso se está produciendo ahora? ¿Por qué no antes, cuando la realidad mixta era más bien una visión?

Gran parte del revuelo se debe, por supuesto, a que grandes empresas tecnológicas como Meta (antes Facebook), Microsoft y NVIDIA están utilizando el metaverso para describir la convergencia de una serie de tecnologías y, lo que es quizás más importante, para contar la historia a los consumidores sin enterrarse en los detalles. Los servicios en la nube, las redes de área extensa y las redes móviles se han consolidado hasta el punto de soportar servicios complejos y de gran ancho de banda con modelos de negocio sostenibles para los operadores. Los dispositivos han madurado y empiezan a cumplir la promesa de inmersión, cuya adopción se ve impulsada por factores de forma cada vez más reducidos y precios más bajos, lo que crea nuevas demandas de contenidos y ofrece a los desarrolladores un mercado en expansión. Y cuando se unen todos estos puntos, se obtiene el metaverso y lo que promete.

Entonces, ¿qué tiene que ver el metaverso con nosotros, con Tobii? ¿Por qué estamos hoy aquí sentados discutiéndolo?

A medida que evolucione el metaverso, aumentará la popularidad de los wearables de realidad virtual y realidad aumentada por el nivel de inmersión que ofrecen. La acústica espacial simulará el sonido con autenticidad para que las personas puedan estar en un espacio de RV y confiar en las señales auditivas para interactuar entre sí. Pero para responder a su pregunta, la tecnología de Tobii permitirá conexiones auténticas que no pueden lograrse de otro modo en el metaverso porque ofrecemos un contacto visual realista y una comprensión de la atención humana, los elementos centrales de la comunicación. Desde muy pequeños, los niños aprenden a seguir señales visuales, y alrededor del 80% de la información que procesa nuestro cerebro es visual. Así que la diferencia en la interpretación de la intención es enorme cuando se mira a una persona a los ojos o se observa cómo se mueven sus labios que, por ejemplo, cuando se le mira fijamente por encima de la cabeza. La comunicación en el metaverso sólo funcionará si los dispositivos están equipados con Eye tracking.

Y luego está el tema de los mandos. No son necesariamente intuitivos, como tampoco lo son los teclados o los ratones, pero nos hemos acostumbrado a aceptar estas modalidades de entrada como medio para introducir información en los sistemas. Pero para garantizar una experiencia metaversal auténtica, no queremos estar agitando las manos o los mandos de forma incómoda, sobre todo en un entorno de realidad aumentada. En la vida real, utilizamos gestos, el habla y el contacto visual para mostrar nuestra intención. Y lo mismo haremos en el metaverso. Eye tracking, que capta la mirada, los movimientos de la cabeza y los puntos de referencia faciales, permitirá una autenticación rápida, así como una comunicación intuitiva que aproveche tanto la postura de la cabeza como las señales visuales. Es probable que el seguimiento de las manos sin globos también forme parte de la mezcla, ya que proporciona otra modalidad de entrada intuitiva. Eye tracking facilitará el uso de gestos sencillos e intuitivos, sustituyendo los gestos de señalar y los gestos complejos por deslizamientos discretos (potencialmente con guantes para climas fríos).

Para las personas que se adentran en el metaverso con dispositivos de Realidad Aumentada, el eye tracking es fundamental por los datos adicionales que proporciona. El tipo de información que proporciona nuestra tecnología ayudará a los desarrolladores a integrar los objetos virtuales en el mundo físico. Así, el eye tracking ayudará a reducir el paralaje entre el mundo real y el virtual, lo que hará que las experiencias de los usuarios sean más agradables porque se sentirán auténticas y coherentes. La tecnología también es fundamental para desarrollar pantallas multifocales y sistemas de acomodación automática.

Los dispositivos XR serán una parte importante del metaverso porque ofrecen inmersión, que es la clave para sentir que estás en otro lugar y participar en él de verdad. Entonces, ¿por qué es tan importante la comodidad?

Los trabajadores de oficina se han acostumbrado a utilizar varios monitores y dispositivos, y eligen la solución que mejor se adapta a lo que necesitan hacer y al lugar donde deben hacerlo. Del mismo modo que la ergonomía es esencial para unas condiciones de trabajo sostenibles, la comodidad es crucial para la RX. Ya conoces a nuestros socios Pico, que acaban de lanzar la tercera generación de sus auriculares untethered que incluyen nuestra tecnología eye tracking, y cómo han trabajado sin descanso en el factor comodidad. Han hecho una inversión importante porque saben que la comodidad es crucial para que la gente utilice los dispositivos XR durante toda una jornada laboral.

Puede mejorar la comodidad con Eye tracking de Tobii, ya que los auriculares pueden aprovechar las mediciones de la distancia interpupilar para ajustarse automáticamente a los distintos usuarios y a los deslizamientos sin alterar la experiencia del usuario.

Y luego está el problema del mareo, que los gráficos de alta resolución pueden ayudar a resolver. Es aquí donde tecnologías como el renderizado dinámico foveated (DFR) son esenciales para mantener el rendimiento de los dispositivos XR en arquitecturas de procesamiento divididas y en el dispositivo. Este año, hemos visto cómo NVIDIA lanzaba la segunda versión de su supermuestreo de tasa variable, VRSS 2, que aprovecha la tecnología Tobii Spotlight. Ambas tecnologías colaboran para proporcionar información sobre la mirada con una latencia mínima al controlador de NVIDIA, lo que permite a los desarrolladores crear aplicaciones que aprovechen DFR sin codificación adicional para cada dispositivo. Las altas y estables frecuencias de cuadro resultantes ayudan a reducir el umbral de mareo que algunas personas experimentan con la RV.

¿Qué hay de las nuevas tendencias tecnológicas desde la perspectiva del Hardware? ¿Y qué hace Tobii para garantizar la adaptación de nuestras plataformas de integraciones?

La calidad de la imagen y el peso del dispositivo también contribuyen a la portabilidad, lo que está impulsando el desarrollo y la adopción de ópticas plegadas (a menudo denominadas lentes pancake en XR) porque su factor de forma y calidad de imagen suelen dar lugar a auriculares más ligeros y menos voluminosos que los diseños convencionales de lentes Fresnel.

Para apoyar a los fabricantes en su cambio a la tecnología pancake para dispositivos comerciales, Tobii XR ha dedicado gran parte de sus esfuerzos de I+D de 2021 a desarrollar las plataformas de integración para ofrecer eye tracking para esta arquitectura emergente. Nos hemos centrado en un diseño compacto que permita la integración sin cambios invasivos en los auriculares y minimice el consumo de recursos. Tenemos un par de implementaciones en desarrollo y estamos deseando hablar de ellas con más detalle una vez que se lancen.

Yo diría que el otro gran avance en Hardware es la adopción del eye tracking en los auriculares comerciales. El año pasado (2021) tuvimos dos grandes lanzamientos de dispositivos equipados de forma nativa con nuestro Eye tracking: el Pico Neo 3 Pro Eye, que ya he mencionado, y el HP Reverb G2 Omnicept Edition. El éxito de Pico apunta a la demanda de dispositivos autónomos y el de HP a la necesidad de sensores adicionales. Y luego está la asociación que anunciamos con Pimax, que llevará todo el potencial del metaverso a los consumidores. Desde el punto de vista de Tobii, diría que nuestro enfoque de diseño, que garantiza que nuestra tecnología cumple el principio de todos, en todas partes, en todos los dispositivos, es un factor diferenciador crucial para los fabricantes que desean integrar el eye tracking en los dispositivos de consumo.

Los anuncios realizados por Meta y Sony Playstation revelan que el eye tracking formará parte de sus auriculares de consumo de próxima generación, y creo que esto ocurrirá pronto.

¿Cuál cree que es el mayor reto a la hora de aplicar la tecnología Eye tracking en los dispositivos XR de consumo?

Esto nos lleva a lo que acabo de mencionar sobre los sistemas que cumplen el principio de todos, en todas partes, en todos los dispositivos (las tres "e"). Porque, como saben, es relativamente fácil desarrollar un sistema de eye tracking que funcione en un entorno controlado, pero no lo es crear uno que cumpla las tres "e". Llevamos más de dos décadas investigando y adquiriendo la competencia necesaria para ofrecer una solución que funcione y se adapte a las distintas formas de ojos, colores, reflectividad de la retina, corrección de la vista, etcétera. Pero para el entorno de consumo, no se trata sólo de alcanzar una cobertura del 95% de la población, sino de ofrecer una solución sólida que pueda repetirse en la producción a gran escala. Si quieres leer más sobre cómo lo hemos hecho, puedes consultar el post de Andreas sobre la importancia de crear tecnologías universales en su post sobre la desmitificación del eye tracking para XR .

¿Y qué áreas de aplicación del Eye tracking cree que serán las primeras en saltar al metaverso?

Bueno, yo diría que son los sospechosos habituales: Salud y bienestar, colaboración, juegos, social, educación y formación basada en la simulación. Sin embargo, yo diría que la Salud y el Bienestar son los primeros en el sector empresarial. Digo esto por el creciente interés que vimos en 2021 por Tobii Ocumen - nuestro conjunto de herramientas de análisis para el registro de datos, organización y análisis del comportamiento humano que este tipo de aplicaciones avanzadas requieren.

¿Recuerdas cuando nos reunimos con Scott Anderson de SyncThink para encontrar las claves de la escalabilidad y nos habló de cómo eran una aplicación a la espera de que llegara el hardware perfecto? Creo que podemos esperar ver más aplicaciones de este tipo esperando el hardware y las señales de Eye tracking adecuadas. Y nuestros socios de REACT Neuro y Apeiron Life se han tomado muy en serio la importancia del rendimiento cognitivo a lo largo de las décadas de la vida . Como señala el Dr. Martin, el bienestar ya no se limita a mantenerse físicamente activo y alimentarse correctamente, sino que también consiste en prevenir el deterioro cognitivo.

En cuanto a los consumidores, las aplicaciones sociales y de juegos experimentarán un crecimiento en forma de palo de hockey, dado el actual nivel de interés y la forma en que se están desarrollando las plataformas. También creo que estas son las áreas en las que los consumidores apreciarán más el metaverso. Para Tobii, esto significa que seguiremos colaborando estrechamente con los fabricantes de auriculares, desarrolladores y creadores de contenidos para introducir en el metaverso funciones como la presencia, los avatares realistas, las interfaces intuitivas y la biometría para la autenticación.

Antes de terminar, Johan, me gustaría preguntarte por las normas y la necesidad de OpenXR.

Una de las formas más eficaces de promover la agilidad entre plataformas es a través de estándares abiertos, porque ayudan a evitar la dependencia de un proveedor y la lenta adaptación de los dispositivos. Pero también permiten que las grandes tecnológicas y los operadores especializados trabajen juntos. Como saben, OpenXR lanzó en 2020 una extensión del estándar para el eye tracking, pero lo que podemos esperar este año es la implementación del estándar en auriculares comerciales y soluciones de apoyo como la plataforma MR de Microsoft Windows.

Resumiendo, Johan, ¿qué podemos esperar en 2022? ¿Cómo aportará Tobii valor añadido a la experiencia del usuario metaverso?

Para mí, se trata del eye tracking en todos los dispositivos, lo que requerirá tecnologías integradas como la nuestra para cumplir el principio de todos, en todas partes, en todos los dispositivos. Seguiremos asistiendo a una gran diversidad de tipos de dispositivos, con máquinas de trabajo para entornos de simulación, pero la tendencia principal apunta a auriculares ligeros y sin ataduras. Para los desarrolladores, el metaverso representa una plataforma sólida para contar historias y crear nuevas aplicaciones. Podemos esperar ver algunos ejemplos prosumidores, pero como ocurre con la mayoría de las soluciones emergentes, la experiencia inicial será probablemente un poco fragmentada. Habrá muchas aplicaciones colaborativas que ayudarán a las empresas a superar los límites organizativos y eliminar los silos creados por las limitaciones de tiempo y espacio. Creo que ya tenemos un buen ejemplo de ello con VirtualRetail.io y su forma de actuar.

Para los consumidores, será interesante ver cómo reacciona la gente ante Meta's Horizon ahora que ha superado la fase beta y ha pasado a un lanzamiento público más amplio. No llegaremos a la igualdad de condiciones todavía, pero veremos dispositivos mejorados con eye tracking y un aumento de avatares auténticos, contacto visual realista, interfaces fáciles de usar y juego mejorado, por ejemplo.

Gran resumen, Johan. Gracias, Johan.

Gracias, Maggie. Fue un placer volver a verte en persona, pero ahora volvemos a lo virtual.