Visión virtual realista con renderizado dinámico foveated

Tecnología Tobii Spotlight

En las últimas dos décadas, Tobii se ha convertido en la empresa líder mundial en Eye tracking, ofreciendo tecnologías de eye tracking y detección de usuarios para una amplia gama de dispositivos y casos de uso. Hoy en día, la tecnología eye tracking de Tobii se puede encontrar en ordenadores portátiles, auriculares de realidad virtual, gafas de realidad aumentada, soluciones innovadoras de salud, dispositivos de asistencia y muchas más aplicaciones y productos. Recientemente, Tobii ha estado trabajando en un conjunto de tecnologías y capacidades relacionadas con foveation - lo que llamamos Tobii Spotlight Technology. Este blog pretende explorar los beneficios actuales que son posibles gracias a la foveación, haciendo hincapié en las pruebas comparativas que Tobii ha llevado a cabo recientemente.

Foveation

Empecemos con un poco de historia. La foveación es un proceso informático de renderizado de imágenes que imita el funcionamiento de la visión humana. El renderizado dinámico foveado (DFR) emplea el eye tracking para centrar el procesamiento y el uso de ancho de banda en las zonas de la imagen donde se requiere alta resolución -la región foveal donde mira el sujeto- y ofrece menor resolución hacia la periferia. La optimización de la imagen simula la visión humana y reduce la demanda de ancho de banda y procesamiento, lo que reduce la latencia y mejora los tiempos de respuesta.

Tobii Spotlight Technology es una solución avanzada de eye tracking, especializada en foveation technology. Proporciona un seguimiento preciso y de baja latencia de la mirada del usuario en tiempo real, lo que permite una foveación dinámica superior que simula la visión humana realista. Al aliviar la carga de la GPU y mejorar la velocidad general de renderizado, la tecnología Tobii Spotlight mejora la experiencia global de las aplicaciones de realidad virtual:

• Mejor calidad de imagen : el ahorro de GPU permite renderizar imágenes de alta resolución en tiempo real en la región foveal. Los beneficios de DFR son mayores en los cascos de mayor resolución, ya que DFR puede reducir significativamente la carga de sombreado.

• Velocidades de fotogramas más altas y fluidas : la velocidad de fotogramas define el rendimiento y la presencia de una aplicación de RV. Una caída de la frecuencia de imagen (normalmente en casos de renderizado de sombreado complejo) provoca vibraciones, que son perceptibles para el usuario y pueden incluso provocar mareos o náuseas. El DFR ayuda a mantener frecuencias de cuadro más suaves, y su ahorro es mayor en las partes más pesadas de una escena con el sombreado más complejo.

• Gráficos mejorados : las aplicaciones de RV son muy exigentes a la hora de renderizar en comparación con un juego de PC estándar. Para mantener el mismo nivel de rendimiento, los desarrolladores han optimizado tradicionalmente la propia aplicación, lo que puede suponer una reducción de la calidad de la escena o la desactivación de algunos efectos en tiempo real. DFR permite realizar sombreados más complejos y realistas sin aumentar la carga de la GPU, lo que permite a los desarrolladores incluir ajustes de mayor calidad en sus aplicaciones sin afectar al rendimiento.

• Ahorro de energía: la reducción de la carga de la GPU también puede permitir un potencial ahorro de energía en portátiles, auriculares y otros dispositivos alimentados por batería.

DFR con sombreado de tasa variable (VRS) de NVIDIA

En la actualidad, muchos desarrolladores asocian el renderizado foveated con NVIDIA VRS, una técnica de renderizado que permite un control más preciso de la densidad de sombreado y el supermuestreo real. Con VRS, los desarrolladores pueden optar por mejorar la calidad visual, reducir los costes de GPU o incluso equilibrar un poco ambas cosas.

VRS aplica cantidades variables de potencia de procesamiento a distintas zonas de la imagen. Esta tecnología modifica el número de píxeles procesados por una operación de sombreado de un solo píxel. Estas operaciones pueden aplicarse ahora a bloques de píxeles, lo que permite a las aplicaciones variar eficazmente la calidad del sombreado en distintas zonas de la pantalla.

Para conseguir el máximo efecto, VRS también puede combinarse con eye tracking para adaptar la calidad de renderizado a la mirada del usuario. Los patrones personalizados de NVIDIA VRS permiten a los desarrolladores optimizar la densidad de sombreado en función de la región foveal. Cuanto más pequeña sea la región foveal, mayor será el ahorro de GPU. El tamaño de la región foveal viene determinado por:

• Campo de visión efectivo de la pantalla - La extensión angular para la foveación no varía con el campo de visión. En otras palabras, el porcentaje de la pantalla que debe ser de alta calidad disminuye a medida que aumenta el campo de visión.

• Artefactos de imagen producidos por la técnica de foveated rendering.

• Latencia en la presentación de la foveación rastreada.

• Precisión y solidez del sistema de eye tracking.

• Sensibilidad del usuario a los artefactos.

DFR con foveation VRS ofrece al usuario el patrón personalizado más optimizado cuando se combina con una señal de eye tracking de baja latencia. Esto maximiza el beneficio de habilitar VRS en la aplicacion ya que la tasa de sombreado puede reducirse considerablemente, lo que mejora el rendimiento general de la aplicacion y puede permitir una mejor calidad de imagen con supermuestreo en la region foveal.

Adaptación al usuario

No todas las señales de eye tracking son iguales. La latencia, la frecuencia, la precisión y el ruido contribuyen de forma obvia al tamaño de la región foveal. Quizás sea menos obvio el impacto de la fiabilidad de la señal, la cobertura de la población, la pérdida de precisión angular y los artefactos de la señal de eye tracking.

Además, la capacidad de seguimiento de la mirada varía en función de la población. Algunas personas son fáciles de rastrear, mientras que otras no lo son en absoluto. El cansancio, la deshidratación y la enfermedad pueden reducir la capacidad de seguimiento de un usuario. Una fovetación eficaz debe tener en cuenta esta variabilidad.

Tobii ha realizado importantes inversiones en la investigación de señales específicas de foveation, incluido el desarrollo de señales de seguimiento de renderizado foveated especializadas que reducen o eliminan algunos de los artefactos de señal perjudiciales que pueden estar presentes en las señales no especializadas.

Puntos de referencia

Recientemente, Tobii ha llevado a cabo una serie de pruebas comparativas entre las ventajas de rendimiento del renderizado foveated fijo y dinámico. El renderizado foveal fijo (FFR) es una técnica que asume una dirección de visión hacia delante y limita los costes de renderizado de las áreas de visualización que no serán claramente visibles en el casco, principalmente en la región de distorsión de la lente. Por otro lado, la DFR desplaza la región foveal hacia donde mire el usuario, lo que reduce aún más el tamaño de la región foveal.

Los resultados (en comparación con la no fovetación) ilustran sistemáticamente:

• DFR produce una reducción media de la carga de sombreado de la GPU de aproximadamente un 57% al ejecutar pruebas con 6dof bloqueados (asegurándose de tener un fotograma constante para cada preajuste) en varias partes de la escena. La reducción es mayor en las partes de la escena con más píxeles.

• DFR reduce la carga de la GPU de forma tan drástica que hace posible resoluciones de 8K y superiores en los futuros cascos.

• DFR permite a los desarrolladores añadir shaders y efectos complejos para mejorar los gráficos y mantener un alto rendimiento.

Mientras realizábamos pruebas en Vive Pro Eye, optimizamos los parámetros de foveation para el sombreado de tasa variable a fin de lograr una tasa de sombreado del 16 % para DFR. Para el modo fijo, hemos configurado la densidad de sombreado en un 40%, que funciona mejor con los parámetros de los auriculares Vive Pro Eye y no es perceptible para el usuario en la periferia cuando está activado. La pantalla se divide en unas cuantas regiones que van desde la foveal (hacia donde mira el usuario), la media (que es una transición de la foveal a la periférica) y la periférica (región optimizada para obtener la máxima ganancia). En la figura siguiente, la superposición de colores muestra las regiones para FFR y DFR con diferentes parámetros de tamaño y forma. El código de colores es un gradiente basado en el logaritmo de la densidad, donde azul = 1 muestra, morado = 1/4 de muestra, rojo morado = 1/8 de muestra, rojo = 1/16 de muestra y negro = eliminado.

Showdown VR es una experiencia cinemática en la que la escena tiene una complejidad variable en diferentes partes de la misma. Esto nos permite muestrear la carga de sombreado de la GPU para los valores más altos y más bajos y compararlos entre los modos de renderizado Completo, Fijo y Dinámico. En la siguiente figura, observamos que en algunas partes de la escena la carga de sombreado aumenta mucho para el renderizado completo (comprueba la segunda explosión). Los resultados de DFR para la carga de sombreado son relativamente consistentes, con menos picos incluso para la parte más pesada de la escena, lo que la convierte en una experiencia mucho más fluida. Para la prueba que se muestra a continuación, hemos modificado ligeramente la escena: se ha supermuestreado 3 veces para aumentar la resolución y mejorar la calidad de la imagen. En este caso, observamos una mayor reducción de la carga de sombreado de la GPU, con un DFR de alrededor del 74,59%, a pesar de que la carga de sombreado general de la escena ha aumentado.

Los cascos de nueva generación buscan una mayor resolución y un campo de visión más amplio, lo que exige renderizar cada vez más píxeles en la pantalla. En el gráfico siguiente, para una aplicación de RV normal, observamos que los píxeles renderizados aumentan exponencialmente. Si lo comparamos con el DFR, se observa un descenso significativo en el caso de los cascos de mayor resolución, que se acercan a los 8K y superiores. Esto afecta directamente a la carga de sombreado de la GPU y, por tanto, el ahorro con DFR aumenta con el incremento de la resolución de los cascos. Esto también es aplicable a las aplicaciones de supermuestreo para los auriculares de nueva generación.

Los desarrolladores también pueden optar por utilizar estas ventajas de mejora del rendimiento para aumentar enormemente los efectos visuales en la escena, conservando al mismo tiempo frecuencias de cuadro suaves. Esto permite a los desarrolladores y diseñadores ampliar los límites de los efectos visuales y los shaders complejos. En la figura siguiente, hemos realizado pruebas con algunas modificaciones en Showdown VR para mejorar los efectos de sombreado e iluminación sin coste adicional en la carga.

Conclusión

Para una aplicacion de RV, es muy importante tener un rendimiento alto y constante. DFR permite a las aplicaciones mantener este alto rendimiento y, además, admite mayores resoluciones y mejores efectos visuales. Cuando la tecnología Tobii Spotlight se combina con tecnologías como el sombreado de tasa variable de NVIDIA, obtenemos el máximo beneficio de la foveation con la reducción de la carga de sombreado de la GPU. Más allá del renderizado, la tecnología Tobii Spotlight tiene varias aplicaciones para la foveación dinámica, como el transporte foveado y el streaming.

Más información sobre la tecnología Tobii Spotlight

Más información sobre Tobii Spotlight Technology y otras aplicaciones de foveation technology dinámica.

Consulte también información adicional en la mesa redonda del Siggraph.

¿Quiere saber más sobre la renderización foveated y la tecnología Tobii Spotlight?

Descarga nuestro eBook Eye tracking y foveated rendering dinámico: tecnologías que resuelven el reto de la RV .