Vision virtuelle réaliste avec rendu dynamique par fovéation

Technologie Spotlight de Tobii

Au cours des deux dernières décennies, Tobii s'est fait connaître comme le leader mondial de l'eye tracking, offrant des technologies d'eye tracking et de détection de l'utilisateur pour une gamme d'appareils et de cas d'utilisation. Aujourd'hui, la technologie d'Eye tracking de Tobii se retrouve dans les ordinateurs portables, les casques VR, les lunettes AR, les solutions de santé innovantes, les appareils d'assistance et bien d'autres applications et produits. Récemment, Tobii a travaillé sur un ensemble de technologies et de capacités liées au fovéal - ce que nous appelons la technologie Tobii Spotlight. Ce Blog cherche à explorer les avantages actuels rendus possibles via la fovéation, en mettant l'accent sur les récents benchmarks menés par Tobii.

Fovéation

Commençons par un peu d'histoire. La fovéation est un processus informatique de rendu d'image qui imite le fonctionnement de la vision humaine. Le rendu dynamique par fovéation (DFR) utilise l'Eye tracking pour concentrer le traitement et l'utilisation de la bande passante sur les zones de l'image où une haute résolution est requise - la région fovéale où le sujet regarde - et offre une résolution plus faible vers la périphérie. L'optimisation de l'image de cette manière simule la vision humaine tout en réduisant les demandes de bande passante et de traitement, en diminuant la latence et en améliorant les temps de réponse.

La Techonologie de rendu graphique fovéal de Tobii est une solution avancée d'eye tracking, spécialisée dans la fovéation. Elle assure un suivi précis et à faible latence du regard de l'utilisateur en temps réel, permettant une fovéation dynamique supérieure qui simule une vision humaine réaliste. En soulageant le GPU et en améliorant la vitesse de rendu, la technologie Spotlight de Tobii améliore l'expérience globale d'une application VR :

• Meilleure qualité d'image - les économies réalisées sur le GPU permettent de rendre des images haute résolution en temps réel dans la région fovéale. Les gains du DFR sont plus importants pour les casques à haute résolution car le DFR peut réduire la charge d'ombrage de manière significative.

• Des fréquences d'images plus élevées et plus fluides - la fréquence d'images définit les performances et la présence d'une application de RV. Une baisse de la fréquence d'images (généralement dans le cas d'un rendu de shaders complexe) se traduit par des saccades, qui sont perceptibles par l'utilisateur et peuvent même provoquer le mal des transports ou des nausées. Le DFR permet de maintenir des fréquences d'images plus fluides, et ses économies sont les plus importantes dans les parties les plus lourdes d'une scène avec les ombrages les plus complexes.

• Graphiques améliorés - Les applications de RV sont très exigeantes en termes de rendu par rapport à un jeu PC standard. Pour maintenir le même niveau de performance, les développeurs ont traditionnellement optimisé l'application elle-même, ce qui peut entraîner une réduction de la qualité de la scène ou la désactivation de certains effets en temps réel. Le DFR permet un ombrage plus complexe et plus réaliste sans augmenter la charge du GPU, ce qui permet aux développeurs d'inclure des paramètres de qualité supérieure dans leurs applications sans impact sur les performances.

• Économies d'énergie - La réduction de la charge du GPU peut également permettre des économies d'énergie pour les ordinateurs portables, les casques et autres appareils alimentés par batterie.

DFR avec l'ombrage à taux variable (VRS) de NVIDIA

Aujourd'hui, de nombreux développeurs associent le rendu fovéal à NVIDIA VRS, une technique de rendu qui permet un contrôle plus fin de la densité d'ombrage et un véritable super-échantillonnage. Avec le VRS, les développeurs peuvent choisir d'améliorer la qualité visuelle, de réduire les coûts du GPU ou même d'équilibrer un peu les deux.

Le VRS applique des quantités variables de puissance de traitement à différentes zones de l'image. La technologie fonctionne en modifiant le nombre de pixels traités par une opération de nuanceur à pixel unique. Ces opérations peuvent désormais être appliquées à des blocs de pixels, ce qui permet aux applications de faire varier efficacement la qualité de l'ombrage dans différentes zones de l'écran.

Pour un effet maximal, VRS peut également être associé à l'eye tracking pour faire correspondre une qualité de rendu optimale au regard de l'utilisateur. Les modèles personnalisés de NVIDIA VRS permettent aux développeurs d'optimiser la densité de l'ombrage en fonction de la région fovéale. Plus la région fovéale est petite, plus les économies de GPU sont importantes. La taille de la région fovéale est déterminée par :

• Champ de vision effectif de l'écran - L'étendue angulaire pour la fovéation ne varie pas avec le champ de vision. En d'autres termes, le pourcentage de l'écran qui doit être de haute qualité diminue à mesure que le champ de vision augmente.

• Artéfacts d'image produits par la technique de rendu par fovéation.

• Le temps de latence dans la présentation de la fovéation suivie.

• Précision et robustesse du système d'eye tracking.

• Sensibilité de l'utilisateur aux artefacts.

Le DFR avec fovéation VRS donne à l'utilisateur le motif personnalisé le plus optimisé lorsqu'il est associé à un signal d'eye tracking à faible latence. Cela maximise les avantages de l'activation du VRS dans l'application puisque le taux d'ombrage peut être considérablement réduit, ce qui améliore les performances globales de l'application et peut permettre une meilleure qualité d'image avec un super-échantillonnage dans la région fovéale.

S'adapter à l'utilisateur

Tous les signaux d'Eye tracking ne se valent pas. La latence, la fréquence, la précision et le bruit contribuent de manière évidente à la taille de la région fovéale. L'impact de la fiabilité du signal, de la couverture de la population, de l'affaiblissement de la précision angulaire et des artefacts du signal d'eye tracking est peut-être moins évident.

En outre, la capacité à suivre le regard varie d'une population à l'autre. Certaines personnes sont faciles à suivre, tandis que d'autres ne le sont pas du tout. Un utilisateur qui est normalement facile à suivre peut le devenir moins à cause de la fatigue, de la déshydratation et de la maladie. Une fovéation efficace doit tenir compte de cette variabilité.

Tobii a investi de manière significative dans la recherche sur les signaux spécifiques à la fovéation, y compris dans le développement de signaux de suivi de rendu spécialisés dans la fovéation qui réduisent ou éliminent certains des artefacts de signal dommageables qui peuvent être présents sur les signaux non spécialisés.

Critères de référence

Récemment, Tobii a réalisé une série de tests comparant les avantages en termes de performances des rendus fixes et dynamiques avec fovéation. Le rendu fovéal fixe (FFR) est une technique qui suppose une direction de vision vers l'avant et limite les coûts de rendu des zones d'affichage qui ne seront pas clairement visibles dans le casque, principalement dans la région de distorsion de la lentille. D'autre part, le DFR déplace la région fovéale là où l'utilisateur regarde, ce qui réduit encore la taille de la région fovéale.

Les résultats (comparés à l'absence de fovéation) illustrent de manière cohérente :

• Le DFR entraîne une réduction moyenne de la charge d'ombrage du GPU d'environ 57 % lors de l'exécution de tests avec 6dof verrouillés (en s'assurant d'avoir une image constante pour chaque préréglage) sur différentes parties de la scène. La réduction est plus importante pour les parties de la scène à plus forte intensité de pixels.

• Le DFR réduit la charge du GPU de manière si spectaculaire qu'il permet d'atteindre des résolutions de 8K et plus sur les futurs casques.

• Le DFR permet aux développeurs d'ajouter des shaders et des effets complexes pour améliorer les graphismes tout en maintenant des performances élevées.

Lors des tests sur Vive Pro Eye, nous avons optimisé les paramètres de fovéation pour l'ombrage à taux variable afin d'obtenir un taux d'ombrage de 16 % pour le DFR. Pour le fixe, nous avons configuré la densité d'ombrage à 40 %, ce qui fonctionne le mieux pour les paramètres du casque Vive Pro Eye et n'est pas perceptible pour l'utilisateur dans la périphérie lorsqu'il est activé. L'écran est divisé en quelques régions allant du fovéal (où l'utilisateur regarde), au milieu (qui est une transition entre le fovéal et la périphérie), et à la périphérie (la région est optimisée pour un gain maximal). Dans la figure ci-dessous, la superposition de couleurs montre les régions pour la FFR et la DFR avec différents paramètres de taille et de forme. Le codage couleur est un gradient basé sur le logarithme de la densité où le bleu = 1 échantillon, le violet = 1/4 d'échantillon, le rouge violet = 1/8 d'échantillon, le rouge = 1/16 d'échantillon et le noir = éliminé.

Showdown VR est une expérience cinématographique où la scène a une complexité variable dans différentes parties de la scène. Cela nous permet d'échantillonner la charge d'ombrage du GPU pour le plus haut et le plus bas et de les comparer entre les modes de rendu Plein, Fixe et Dynamique. Dans la figure ci-dessous, nous observons que pour certaines parties de la scène, la charge d'ombrage augmente considérablement pour un rendu complet (voir la deuxième explosion). Les résultats du DFR pour la charge d'ombrage sont relativement cohérents avec moins de pics, même pour les parties les plus lourdes de la scène, ce qui rend l'expérience beaucoup plus fluide. Pour le test ci-dessous, nous considérons une légère modification de la scène - la scène a été super échantillonnée trois fois pour augmenter la résolution et améliorer la qualité de l'image. Nous observons ici une réduction supplémentaire de la charge d'ombrage du GPU avec un DFR d'environ 74,59 %, même si la charge d'ombrage globale de la scène a augmenté.

Les casques de nouvelle génération visent une résolution plus élevée et un champ de vision plus large, ce qui exige de rendre de plus en plus de pixels à l'écran. Dans le graphique ci-dessous, pour une application VR normale, nous observons que les pixels rendus augmentent de manière exponentielle. Si l'on compare avec le DFR, on constate une baisse significative pour les casques à plus haute résolution allant jusqu'à 8K et au-delà. Cela affecte directement la charge d'ombrage du GPU et, par conséquent, les économies réalisées avec le DFR augmentent avec la résolution des casques. Cela s'applique également aux applications de suréchantillonnage pour les casques de la génération actuelle.

Les développeurs peuvent également choisir d'utiliser ces avantages d'amélioration des performances pour augmenter considérablement les effets visuels dans la scène, tout en conservant des taux d'images fluides. Cela permet aux développeurs et aux concepteurs de repousser les limites des effets visuels et des shaders complexes. Dans la figure ci-dessous, nous avons testé quelques modifications sur Showdown VR pour améliorer les effets de shaders et d'éclairage sans coût supplémentaire sur la charge.

Conclusion

Pour une application de réalité virtuelle, il est très important d'avoir des performances élevées et constantes. Le DFR permet aux applications de maintenir cette performance élevée et supporte en outre des résolutions plus élevées et de meilleurs effets visuels. Lorsque la Techonologie de rendu graphique fovéal de Tobii est associée à des technologies telles que l'ombrage à taux variable de NVIDIA, nous tirons le meilleur parti de la fovéation tout en réduisant la charge d'ombrage du GPU. Au-delà du simple rendu, la Techonologie de rendu graphique fovéal de Tobii a plusieurs applications pour la fovéation dynamique, comme le transport fovéal et le streaming.

En savoir plus sur la technologie Tobii Spotlight

En savoir plus sur la Techonologie de rendu graphique fovéal de Tobii et d'autres applications de fovéation dynamique.

Vous trouverez également des informations complémentaires dans le débat d'experts du Siggraph.

Vous souhaitez en savoir plus sur le rendu graphique fovéal et la technologie Tobii Spotlight ?

Télécharger notre eBook Eye tracking et rendu graphique fovéal dynamique - des technologies qui relèvent le défi de la RV .