Desarrolladores de XR: Tobii Ocumen, juegos de RV y diseño de interacción

Bienvenidos a esta edición de XR developer focus. El tiempo pasa volando desde nuestra última actualización, pero nunca nos deja de emocionar ver cómo el eye tracking se ha aplicado a nuevas áreas de uso y ha inspirado innovaciones en nuevas industrias. Asegúrese de suscribirse a nuestra lista de correo , para ser el primero en recibir noticias relevantes, ideas y más sobre el desarrollo con Eye tracking de Tobii.

Lo más destacado:

• Casos de éxito de Tobii Ocumen y charlas de AWE

• Juegos de RV con eye tracking

• Diseño para interacciones basadas en la mirada

Tobii Ocumen potencia las innovaciones

Desde su lanzamiento hace dos años, Tobii Ocumen ha impulsado numerosas innovaciones que alteran los enfoques convencionales y mejoran la eficiencia en diversos sectores. Como herramienta avanzada para observar el comportamiento del usuario en RV, proporciona acceso a nuevos datos y ayuda a obtener información detallada sobre el comportamiento humano. Los desarrolladores utilizan el marco que ofrece para registrar, organizar y analizar datos biométricos, así como para crear y desarrollar rápidamente productos de RV de calidad científica en ámbitos como la evaluación de la salud, la terapéutica y la formación.

Gaize es una empresa de Software que trabaja para resolver el problema de los conductores y trabajadores drogados. Ken Fitchler, CEO de Gaize, compartió escenario con nosotros en AWE USA 2023 para explorar las posibilidades de la convergencia de la RV y el eye tracking para comprender las condiciones humanas y desarrollar soluciones rompedoras.

En otra charla de AWE, Amanda Bentley y Robert Malmström de Tobii, se presentaron más historias de éxito en Salud, formación y otras industrias que utilizan Tobii Ocumen.

Si Tobii Ocumen le parece útil para su caso de uso, consulte nuestra página de producto y nuestro sitio para desarrolladores para encontrar más información. También le animamos a que aproveche nuestra prueba gratuita para descubrir cómo Tobii Ocumen puede potenciar su solución.

Los juegos de RV aprovechan el eye tracking

Este año hemos visto una tendencia creciente a utilizar el eye tracking en los juegos de RV para optimizar la potencia de cálculo de los cascos de RV y crear interacciones más naturales.

Gracias al eye tracking de Tobii, muchos dispositivos XR pueden mostrar imágenes dinámicas conoveadas . De forma similar a cómo funcionan nuestros ojos y nuestro cerebro en el mundo físico, la potencia de cálculo de los dispositivos XR sólo puede centrarse en donde nuestros ojos revelan nuestra atención. De este modo, el ahorro puede emplearse en otras tareas críticas, como el mantenimiento de frecuencias de cuadro elevadas, esencial para ejecutar contenidos exigentes como los juegos. Este ahorro será exponencial en los futuros dispositivos XR a medida que las pantallas avancen a 8K, 16K y más allá.

"El renderizado foveated en PS VR2 puede suponer una reducción masiva del uso de la GPU a la vez que produce la misma calidad perceptiva - y, combinado con la tecnología eye tracking, las ganancias de rendimiento son aún mejores... También hemos visto ganancias de hasta 3,6x más rápido cuando el renderizado foveated se combina con eye tracking."

-- Unidad

Al aprovechar el poder de nuestros ojos y la comprensión intuitiva de las señales visuales, los dispositivos XR pueden permitir un nivel de interacción natural e inmersiva con los entornos virtuales. Y lo que es aún mejor, lo consiguen sin necesidad de que los usuarios aprendan nuevas pautas de comportamiento.

Estas son algunas de las críticas de los medios de comunicación:

" Puedes seleccionar opciones de diálogo con los personajes simplemente mirando una opción y pulsando un botón de la cara en lugar de deslizarte con una rueda analógica. Es tan fluido que a veces casi se me olvida que lo estaba haciendo, y no quiero volver atrás. "

-- The Verge

"Y en un juego como Horizon La llamada de la montaña, puedes utilizar el seguimiento de la mirada para navegar por los menús. Rápidamente, me di cuenta de que era mucho mejor que usar el puntero de la cabeza... Me resultaba mucho más fácil, intuitivo y natural usar los ojos para mover el cursor...".

- Probado de Adam Savage .

"... la mirada fugaz era tan crucial para hacerme sentir que realmente estaba allí, que realmente un personaje me estaba mirando mal, que no podía evitar perderme en el momento... Es el tipo de inmersión que hacía tiempo que no conseguía con la RV".

- WIRED

Para ayudar a los desarrolladores a aprovechar mejor el Eye tracking, Tobii ofreció una charla en la GDC 2023 sobre cómo superar los límites de la inmersión en los juegos de nueva generación utilizando el Eye tracking y el Trackeo de cabeza de última generación. En ella se profundiza en la tecnología Eye tracking y Trackeo de cabeza y sus casos de uso en juegos para PC y dispositivos XR. También se ofrecen consejos y trucos para evitar trampas de diseño que ayuden a los desarrolladores a adoptar mejor esta tecnología para mejorar la inmersión en sus juegos.

Diseño para interacciones basadas en la mirada

Esta tendencia a utilizar el eye tracking para crear una interacción y una experiencia de usuario optimizadas no sólo se ha visto en los juegos, sino también en ámbitos de uso más amplios con el reciente lanzamiento de Vision Pro de Apple. Una vez más, el eye tracking se valida como tecnología esencial en XR.

Si estás interesado en ponerte al día con esta tendencia y diseñar interacciones basadas en la mirada, deberías echar un vistazo a nuestra DevZone , donde encontrarás información sobre los bloques de construcción fundamentales que se utilizan para diseñar para el eye tracking en RV, así como consejos y trucos sobre lo que deberías tener en cuenta al diseñar casos de uso basados en la mirada.

También vale la pena mencionar que Unity ha añadido soporte para Eye tracking a XRI2.3 . Tobii ha estado ayudando con los conceptos y la investigación y se enorgullece de contribuir al siguiente nivel de apoyo a los desarrolladores.

Recursos

Por último, quiero dejarles algunos materiales seleccionados que pueden resultarles interesantes.

El renderizado foveated es una técnica de renderizado que está revolucionando la forma en que experimentamos la realidad virtual. Al renderizar únicamente las imágenes de mayor calidad en el área donde el usuario está mirando, puede reducir significativamente la cantidad de potencia de procesamiento necesaria para hacer funcionar un casco de realidad virtual, lo que se traduce en muchas ventajas de rendimiento, como un funcionamiento más fluido, pantallas de mayor resolución o incluso una mayor duración de la batería.
Lee nuestro artículo del blog sobre renderizado foveated para obtener más información .

Si está trabajando en un estudio de Eye tracking, interpretar los datos y sacar conclusiones sobre los resultados de su estudio, le resultará muy útil el reciente Artículo de aprendizaje de mi colega Ieva Miseviciute Tipos de movimientos oculares .

El Dr. Walter Greenleaf, experto en realidad aumentada y realidad virtual médicas del Laboratorio de Interacción Humana Virtual de Stanford, pronunció recientemente un discurso inspirador sobre la convergencia de la realidad virtual, el aprendizaje automático y la biodetección para transformar la Salud: Virtual Reality, Machine Learning, Biosensing - Converging to Transform Salud (Realidad virtual, aprendizaje automático y biodetección: convergen para transformar la Salud). En él no solo analiza la tendencia detallada de estas importantes tecnologías, sino que también apunta a un futuro en el que la confluencia de dichas tecnologías dé lugar a una asistencia sanitaria asequible, escalable y más eficaz.

¡Feliz desarrollo y hasta la próxima actualización!