Qu'est-ce que le rendu fovéal ?

Techonologie de graphique rendu fovéal peut sembler un terme destiné à décrire une technologie complexe. En réalité, le concept sous-jacent de la fovéation est simple. En utilisant les informations relatives à l'endroit où une personne regarde sur un écran, vous pouvez réduire le traitement nécessaire pour générer une scène en rendant la petite zone où l'utilisateur regarde en haute résolution et le reste de la scène - dans la périphérie de l'utilisateur - avec une résolution plus faible et moins de détails. La principale application du rendu graphique fovéal se trouve dans les technologies d'affichage, comme les casques VR et les lunettes AR, où l'optimisation des ressources est essentielle.

Dans ce billet, je répondrai à la question suivante : qu'est-ce que le rendu avec fovéation ? Je parlerai de rendu graphique fovéal dynamique, de rendu graphique fovéal statique (ou fixe), et de la façon dont ces technologies peuvent, par exemple, diminuer la charge de calcul sur le GPU. Et comment vous pouvez réduire les besoins en bande passante du réseau à l'aide d'un concept apparenté - le transport dynamique avec fovéation. Nous vous souhaitons beaucoup de plaisir !

Qu'est-ce que le rendu fovéal ?

Le rendu par fovéation est une technique d'optimisation des performances des appareils qui concentre les ressources de rendu sur la zone de l'écran où l'utilisateur regarde. Le contenu de la zone entourant immédiatement le point de regard de l'utilisateur est rendu en haute résolution. Le reste de l'image - la partie située dans la vision périphérique de l'utilisateur - est rendu à des résolutions inférieures, ce qui réduit les ressources nécessaires au rendu d'une scène sans dégradation apparente de l'expérience de l'utilisateur.

Le rendu par fovéation fonctionne parce qu'il imite la vision humaine et la façon dont notre perception se dégrade à travers le champ de vision. Notre cerveau rend ce que nous voyons en mélangeant ce sur quoi nous nous concentrons en haute résolution - la pomme dans l'illustration - avec le reste de ce que nous voyons en moyenne et basse résolution.

Qu'est-ce que le rendu statique (ou fixe) par fovéation ?

L'approche statique du rendu par fovéation, ou ce que certains appellent le rendu par fovéation fixe, suppose que l'utilisateur se concentre sur le centre de l'écran (ce qui est vrai dans certains cas). L'illustration montre comment le rendu à fovéation fixe fonctionne dans un casque VR en divisant l'écran en zones codées en dur. La zone d'attention supposée de l'utilisateur - indiquée par la partie blanche au centre de l'écran - est rendue à 100 %. Les sections grises sont rendues à une résolution moyenne, et les zones bleu clair à une faible résolution - ce qui réduit les ressources nécessaires au rendu de la scène complète. Vous pouvez mettre en œuvre le rendu statique par fovéation sur à peu près n'importe quel appareil, et vous verrez probablement un certain degré d'optimisation des ressources, mais cela ne donne pas toujours une expérience optimale pour l'utilisateur. Le niveau de distorsion périphérique introduit par les premières générations d'objectifs permettait de réduire la résolution dans les zones où l'image serait de toute façon floue, mais l'amélioration de la qualité des objectifs s'est accompagnée de la nécessité de rendre l'intégralité du champ de vision en haute résolution.

Qu'est-ce que le rendu dynamique par fovéation ?

Le rendu dynamique par fovéation exploite la zone d'attention réelle de l'utilisateur pour rendre entièrement une petite partie de l'image (illustrée par la zone blanche), en l'étendant vers les résolutions moyenne (grise) et basse (bleu clair) sans dégradation de la qualité ou de l'expérience de l'utilisateur. Pour mettre en œuvre un rendu dynamique par fovéation, vous avez besoin d'un eye tracking précis et à faible latence, capable de fournir de manière répétée le point de regard exact de l'utilisateur en temps réel. Certains des tests de référence que nous avons effectués sur le rendu dynamique par fovéation ont donné des résultats phénoménaux. Dans l'un des tests que nous avons effectués sur un casque Pico avec le moteur Unity, la charge d'ombrage du GPU a chuté de 72 %, avec une moyenne d'environ 60 %. Nos tests ont révélé une amélioration radicale de la stabilité des taux de rafraîchissement, qui ne sont pas descendus en dessous de 90 images par seconde lorsque le rendu dynamique par fovéation est activé. C'est une excellente chose pour l'expérience de l'utilisateur. Si vous souhaitez approfondir les résultats, je vous suggère de consulter notre e-book - Eye tracking et rendu dynamique par fovéation .

Avantages du rendu dynamique par fovéation

Parce qu'il réduit la charge de traitement, le rendu dynamique par fovéation peut potentiellement permettre au GPU de fonctionner à des températures plus basses, avec une baisse correspondante de la consommation d'énergie, ce qui réduit le besoin de refroidissement et le bruit lié à la ventilation, favorisant ainsi le confort et prolongeant la durée de vie de la batterie.

La limitation de la zone de rendu en pleine résolution réduit la charge sur les shaders complexes, réduisant ainsi le temps nécessaire au rendu d'une scène. Les ressources ainsi libérées peuvent être utilisées pour produire des ombrages réalistes et des scènes plus complexes.

Plus important encore, le rendu dynamique par fovéation est une technique d'optimisation qui améliore les performances d'une architecture matérielle donnée. En pratique, le DFR prolonge la durée de vie d'un GPU aux ressources limitées fonctionnant sur un casque autonome afin de prendre en charge les technologies émergentes de contenu et d'affichage et d'offrir des expériences utilisateur réalistes et immersives à des prix inférieurs.

Qu'est-ce que le transport dynamique par fovéation ?

Le transport dynamique avec fovéation est un élément fondamental pour l'adoption d'Eye tracker portable léger et sans attache. Les appareils devenant plus légers et les ressources plus rares, la nécessité d'un réseau dédié à faible latence et d'un traitement hors appareil est cruciale pour de nombreuses applications. L'un des moyens de réduire la quantité de données voyageant entre les appareils et le traitement en nuage ou en périphérie est d'exploiter le transport dynamique fovéifié.

Le transport dynamique par fovéation s'appuie sur l'eye tracking pour capturer le regard de l'utilisateur et indiquer au processeur distant les parties de la scène à rendre en haute, moyenne ou basse résolution en fonction de l'endroit où l'utilisateur regarde (de la même manière que le rendu dynamique par fovéation sur l'appareil), ce qui réduit la quantité de données transportées sur le réseau pour chaque scène.

Pourquoi mettre en place un rendu avec fovéation ?

La Techonologie de rendu graphique fovéal est une technologie cruciale pour le XR. Pour mettre en œuvre un rendu dynamique par fovéation sur un appareil, il faut des composants d'Eye tracking - des caméras, des illuminateurs et un algo capable d'exploiter la physiologie oculaire. Cette technologie doit fournir des points de regard précis en temps réel et fonctionner pour la population mondiale qui utilisera l'appareil. Pour les appareils commerciaux, la conception de la solution doit permettre aux applications de haut niveau de tirer parti des avantages du rendu dynamique par fovéation, sans nécessiter de reprogrammation importante. Si vous souhaitez en savoir plus sur la manière dont nous avons réussi à mettre en place des solutions commerciales évolutives, n'hésitez pas à nous contacter.