Los ojos en NVIDIA: Eye tracking en RV es sólo el principio

En este post, David Weinstein, director de realidad virtual y aumentada de NVIDIA, describe las tendencias clave que impulsan el mercado de la RX, así como los posibles retos futuros y los casos de uso más destacados. Este es el cuarto post de la serie de blogs de Tobii "El futuro de la RX", donde los socios comerciales de Tobii comparten sus puntos de vista sobre el desarrollo de la industria de la RX.

¿Cuáles son las tendencias más significativas que afectarán al mercado de los RX en los próximos 3-5 años?

Hay tres tendencias principales que se unirán para tener un enorme impacto en el mercado XR: streaming, IA y mayor inmersión.

El streaming XR está actualmente en pañales con tecnologías como NVIDIA CloudXR que apenas empiezan a desplegarse. A medida que la 5G se generalice, los algoritmos y experiencias XR se dividirán cada vez más entre el cliente y el servidor para aprovechar la enorme potencia de la nube y la eficiencia próxima del HMD. Con todos estos elementos combinados, el streaming se convertirá en la norma para XR.

A medida que eso suceda, el poder de la IA mejorará la forma en que experimentamos XR, con streaming mejorado, agentes inteligentes e interfaces de usuario naturales como Jarvis de NVIDIA para la comprensión del lenguaje natural y el reconocimiento de gestos.

El tercer factor que más influirá en la adopción de la RX será el nuevo hardware de sensores y el software de inteligencia artificial, que aumentarán nuestro nivel de inmersión. Eye tracking es el principio: ya se utiliza para optimizar la renderización, como ocurre con Variable Rate Shading en SDK VRWorks de NVIDIA y pronto hará posible el fotorrealismo inmersivo trazado por rayos.

Y con la próxima llegada de más sensores biométricos, el software de IA interpretará y operará con esos datos, lo que llevará a: ayudarnos a sentirnos conectados entre nosotros a través de avatares expresivos; personalizar y acelerar la formación y el aprendizaje basados en la biorretroalimentación; y, en última instancia, controlar nuestros entornos virtuales a través de interfaces neuronales.

¿Cuáles cree que son los mayores retos para la adopción de XR en la actualidad?

La adopción de la RX se acelerará a medida que abordemos tres grandes retos: contenidos, comodidad y aislamiento. Como nueva tecnología, la gente necesita una razón convincente para adoptar la RX: el "factor sorpresa" genera interés, emoción y expectación, pero no conduce necesariamente a una adopción generalizada. Resulta alentador ver cada vez más contenidos de RV de alta calidad, como en títulos tan populares como Half-Life: Alyx , y potentes aplicaciones de visualización para empresas como Autodesk VRED y ZeroLight. Pronto veremos la RV fotorrealista con trazado de rayos, que cambiará los flujos de trabajo de diseño.

El segundo factor es la comodidad y la conveniencia. Para que una nueva tecnología sea ampliamente adoptada, tiene que ser fácil de usar. Como los HMD son cada vez más ligeros y fáciles de instalar, y la calidad de imagen de la RV mejora constantemente, la relación coste-beneficio de lanzarse a la RV está superando el punto de inflexión para cada vez más usuarios.

El tercer reto es el aislamiento. Una de las principales promesas de la RV siempre ha sido la colaboración. Pero, irónicamente, los principales casos de uso actuales siguen siendo solitarios (por ejemplo, los juegos para un solo jugador y la visualización de diseños para un solo usuario). Esto está empezando a cambiar.

Estamos viendo grandes avances en este frente, desde juegos de RV multijugador de alta calidad y atractivos entornos sociales de RV, hasta plataformas XR de colaboración empresarial como NVIDIA Omniverse . El próximo obstáculo será trasladar a la RV todas las señales sociales de las que dependemos, como la sonrisa, el contacto visual y el lenguaje corporal, a través de avatares naturales y expresivos.

¿Qué deberá cambiar en los próximos tres años para cambiar o reducir estos retos?

Como ya se ha dicho, estamos viendo grandes avances en muchos frentes. Pero en algunos casos, las soluciones a un reto provocan retrocesos en otro. Por ejemplo, aunque a la gente le encanta la comodidad móvil de los auriculares All-In-One (AIO), este tipo de auriculares no tienen suficiente potencia gráfica para ofrecer las impresionantes experiencias visuales disponibles en una tarjeta gráfica de alto rendimiento como la NVIDIA RTX A6000 . Una solución emergente a este problema es el renderizado dividido, como CloudXR de NVIDIA: renderiza los fotogramas XR en un PC remoto con una GPU potente y transmite el renderizado al AIO.

Del mismo modo, los marcos de modo dividido permitirán amortizar el cálculo compartido entre múltiples participantes en experiencias colaborativas, como calcular la iluminación global una vez para todos en una revisión de diseño arquitectónico o simular la física del mundo una vez para todos los jugadores de un juego. Estos marcos de modo dividido requerirán redes rápidas y ubicuas como la 5G, así como computación y renderización aceleradas en los extremos.

En cuanto a las empresas, ¿qué sectores se beneficiarán más de la RX y por qué?

Uno de los puntos fuertes de la RX es su amplia aplicación en todos los sectores. Los primeros en adoptar la RX la han utilizado ampliamente para el diseño y la formación, gracias a su capacidad para comprender la composición y la escala, y a la fidelidad con la que pueden simularse las experiencias. No se puede exagerar el valor de la RX para estos casos de uso empresarial. A largo plazo, la RX estará en todas partes; es una nueva modalidad y sólo hemos empezado a rascar la superficie de dónde y cómo se utilizará.

Muchos de los grandes ganadores serán los flujos de trabajo colaborativos, en los que participarán tanto humanos como IA: esos flujos de trabajo experimentarán enormes mejoras en términos de eficiencia y resultados. La plataforma Omniverse de NVIDIA es un gran ejemplo de cómo una plataforma de colaboración empresarial puede permitir un enorme salto adelante en eficiencia y productividad.

¿Puedes describir el papel de NVIDIA en el ecosistema XR?

NVIDIA tiene una larga historia de liderazgo en el ecosistema XR. Durante años, las GPU de NVIDIA y tecnologías de visualización escalables como Quadro Sync han impulsado las pantallas de CAVE multiusuario, los simuladores de vuelo del Ejército del Aire y enormes espacios de visualización inmersiva, como los que se encuentran en museos interactivos y planetarios. Las GPU de NVIDIA impulsaron las primeras pantallas montadas en la cabeza, cuando se utilizaban principalmente para simuladores de vuelo e investigación en ciencias cognitivas. Además, NVIDIA desarrolló las primeras herramientas de VRWorks, como Direct Mode y Context Priority, que permitieron controlar con eficiencia y eficacia los primeros HMD Oculus Rift y HTC Vive cuando salieron al mercado en 2015.

Desde entonces, hemos ampliado nuestra oferta de RX. Hemos seguido proporcionando nuevos SDK para desarrolladores de RV, que incluyen herramientas para la física de la RV, el audio de RV, tecnologías de renderizado de RV como Multi-Res Shading, Lens-Matched Shading y Variable Rate Shading, así como tecnología de renderizado de IA como NVIDIA DLSS . También hemos seguido aumentando el rendimiento de la RV con cada arquitectura de GPU posterior, añadiendo nuevo soporte de hardware para mejorar y acelerar las experiencias de RV. Y, más recientemente, hemos creado NVIDIA CloudXR, haciendo posible que el ecosistema disfrute de experiencias de RV y RA de la más alta calidad en cualquier dispositivo XR a través de streaming optimizado y adaptado a la red.

Hemos tenido la suerte de contar con partners visionarios y clientes de vanguardia que han sido los primeros en adoptar nuestra tecnología XR y nos han ayudado a mostrar al mundo lo que es posible. Recientemente, hemos destacado muchos de estos proyectos y tecnologías en nuestra conferencia GTC 2021 , que ha estado repleta de charlas sobre productos, partners y clientes, en las que se ha puesto de manifiesto cómo la tecnología XR de NVIDIA está impulsando el ecosistema. En caso de que te hayas perdido la GTC, los vídeos de las sesiones están disponibles a través de NVIDIA On-Demand .