¿Qué es la representación foveated?

La representación foveated puede parecer un término destinado a describir una tecnología compleja. Pero lo cierto es que el concepto subyacente es muy sencillo. Utilizando información sobre dónde mira una persona en una pantalla, se puede reducir el procesamiento necesario para generar una escena renderizando la pequeña zona donde el usuario está mirando en alta resolución y el resto de la escena -en la periferia del usuario- con menor resolución y menos detalles. La principal aplicación del renderizado foveated es en las tecnologías de visualización, como los cascos de realidad virtual y las gafas de realidad aumentada, donde la optimización de recursos es esencial.

En este artículo responderé a la pregunta: ¿qué es el renderizado foveated? Hablaré del foveated rendering dinámico, del foveated rendering estático (o fijo) y de cómo estas tecnologías pueden, por ejemplo, reducir la carga computacional de la GPU. Y cómo se pueden reducir los requisitos de ancho de banda de la red utilizando un concepto hermano: el transporte foveated dinámico. ¡Que aproveche!

¿Qué es la representación foveated?

El renderizado foveated es una técnica de optimización del rendimiento de los dispositivos que concentra los recursos de renderizado en la zona de la pantalla donde mira el usuario. El contenido de la zona que rodea inmediatamente el punto de mirada del usuario se renderiza en alta resolución. El resto de la imagen -la parte que se encuentra en la visión periférica del usuario- se renderiza a resoluciones más bajas, lo que reduce los recursos necesarios para renderizar una escena sin que se perciba una degradación de la experiencia del usuario.

La representación foveated funciona porque imita la visión humana y el modo en que nuestra percepción se degrada a lo largo del campo de visión. Nuestro cerebro renderiza lo que vemos mezclando lo que enfocamos en alta resolución -la manzana de la ilustración- con el resto de lo que vemos en resoluciones media y baja.

¿Qué es la representación foveated estática (o fija)?

El enfoque estático de la representación foveated, o lo que algunos llaman representación foveated fija, supone que el usuario se centra en el centro de la pantalla (lo que es cierto en algunas ocasiones). La ilustración muestra cómo funciona el renderizado foveated fijo en un casco de RV dividiendo la pantalla en zonas codificadas. La supuesta zona de atención del usuario, indicada por la parte blanca del centro de la pantalla, se renderiza al 100%. Las secciones grises se renderizan a resolución media, y las zonas celestes a baja resolución, lo que reduce los recursos necesarios para renderizar la escena completa. Se puede implementar el renderizado estático foveated en casi cualquier dispositivo, y es probable que se vea algún grado de optimización de recursos, pero no siempre produce una experiencia óptima para el usuario. El nivel de distorsión periférica introducido por las primeras generaciones de lentes ofrecía la oportunidad de reducir la resolución en zonas en las que la imagen se vería borrosa de todos modos, pero a medida que ha aumentado la calidad de las lentes, también lo ha hecho la necesidad de renderizar todo el campo de visión en alta resolución.

¿Qué es el renderizado dinámico foveated?

El renderizado dinámico foveated aprovecha la región real de atención del usuario para renderizar completamente una pequeña porción de la imagen (ilustrada por el área blanca), expandiéndose hacia fuera a resolución media (gris) y baja (azul claro) sin degradación de la calidad o de la experiencia del usuario. Para aplicar el renderizado dinámico foveated, se necesita un Eye tracking preciso y de baja latencia que pueda proporcionar repetidamente el punto exacto de la mirada del usuario en tiempo real. Algunas de las pruebas comparativas que hemos realizado sobre el renderizado foveated dinámico han arrojado resultados fenomenales. En una de las pruebas que realizamos en un casco Pico con el motor Unity, la carga de sombreado de la GPU se redujo hasta un 72%, con una media de alrededor del 60%. Nuestras pruebas revelaron una mejora drástica en la estabilidad de las frecuencias de cuadro, que no bajaron de 90 imágenes por segundo con el renderizado dinámico foveated activado. Y eso es estupendo para la experiencia de usuario. Si quieres profundizar en los resultados, te sugiero que eches un vistazo a nuestro libro electrónico: Eye tracking y renderizado dinámico foveated .

Ventajas de la representación dinámica foveated

Al reducir la carga de procesamiento, el renderizado dinámico por fóveas puede permitir que la GPU funcione a temperaturas más bajas, con la correspondiente disminución del consumo de energía, lo que reduce la necesidad de refrigeración y disminuye el ruido relacionado con la ventilación, favoreciendo la comodidad y prolongando la duración de la batería.

Al limitar la región de renderizado a resolución completa se reduce la carga de los sombreadores complejos, con lo que se reduce el tiempo que se tarda en renderizar una escena. Los Recursos liberados pueden utilizarse para ofrecer sombreados realistas y mayores niveles de complejidad en las escenas.

Y lo que es más importante, el renderizado dinámico foveated es una técnica de optimización que mejora el rendimiento de una arquitectura de hardware determinada. En la práctica, el DFR prolonga la vida útil de una GPU con recursos limitados que se ejecuta en un casco autónomo para que sea compatible con las nuevas tecnologías de contenidos y visualización y proporcione experiencias de usuario realistas y envolventes a precios más bajos.

¿Qué es el transporte foveo dinámico?

El transporte dinámico en fóvea es un factor fundamental para la adopción de wearables ligeros sin ataduras. A medida que los dispositivos se hacen más ligeros y los recursos más escasos, la necesidad de redes dedicadas de baja latencia y de procesamiento fuera del dispositivo es crucial para muchas aplicaciones. Y una forma de reducir la cantidad de datos que viajan entre los dispositivos y la nube o el procesamiento periférico es aprovechar el transporte dinámico foveated.

El transporte foveated dinámico aprovecha el eye tracking para captar la mirada del usuario, indicando al procesador remoto qué partes de una escena debe renderizar en alta, media o baja resolución en función de dónde mire el usuario (de forma muy parecida a como funciona el renderizado foveated dinámico en el dispositivo), lo que reduce la cantidad de datos transportados por la red para cada escena.

¿Por qué aplicar el renderizado foveated?

Foveated rendering es una tecnología crucial para la RX. Para implantar la representación foveated dinámica en un dispositivo, se necesitan componentes de eye tracking: cámaras, iluminadores y algo que pueda aprovechar la fisiología ocular. Y esa tecnología tiene que proporcionar puntos de mirada precisos en tiempo real, y tiene que funcionar para la población global que utilizará el dispositivo. En el caso de los dispositivos comerciales, el diseño de la solución debe permitir que las aplicaciones de alto nivel aprovechen las ventajas de la representación foveated dinámica sin necesidad de una reprogramación exhaustiva. Si quiere saber más sobre cómo lo hemos conseguido en soluciones comerciales escalables, póngase en contacto con nosotros.