Was ist foveated rendering?

Foveated Rendering mag wie ein Begriff klingen, der eine komplexe Technologie beschreiben soll. In Wahrheit ist das zugrunde liegende Konzept der Foveation jedoch ganz einfach. Mithilfe von Informationen darüber, wohin eine Person auf dem Bildschirm schaut, können Sie die für die Erstellung einer Szene erforderliche Verarbeitung reduzieren, indem Sie den kleinen Bereich, auf den der Benutzer schaut, in hoher Auflösung rendern und den Rest der Szene - in der Peripherie des Benutzers - mit geringerer Auflösung und weniger Details. Die Hauptanwendung von foveated rendering ist in Display-Technologien, wie VR-Headsets und AR-Brillen, wo die Optimierung der Ressourcen entscheidend ist.

In diesem Beitrag werde ich die Frage beantworten: Was ist foveated rendering? Ich werde über dynamisches foveated Rendering, statisches (oder festes) foveated Rendering sprechen und darüber, wie diese Technologien z. B. die Rechenlast auf der GPU senken können. Und wie Sie die Anforderungen an die Netzwerkbandbreite mithilfe eines verwandten Konzepts - dem dynamischen foveated Transport - reduzieren können. Viel Spaß!

Was ist foveated rendering?

Foveated Rendering ist eine Technik zur Optimierung der Geräteleistung, bei der die Rendering-Ressourcen auf den Bereich des Displays konzentriert werden, auf den der Benutzer schaut. Der Inhalt in der unmittelbaren Umgebung des Blickpunkts des Benutzers wird in hoher Auflösung gerendert. Der Rest des Bildes - der Teil im peripheren Blickfeld des Benutzers - wird mit niedrigeren Auflösungen gerendert, wodurch die für das Rendern einer Szene benötigten Ressourcen reduziert werden, ohne dass der Benutzer eine Verschlechterung der Darstellung wahrnimmt.

Foveated Rendering funktioniert, weil es das menschliche Sehen und die Art und Weise, wie unsere Wahrnehmung über das Sichtfeld hinweg abnimmt, nachahmt. Unser Gehirn rendert das, was wir sehen, indem es das, was wir in hoher Auflösung fokussieren - den Apfel in der Abbildung - mit dem Rest dessen, was wir in mittlerer und niedriger Auflösung sehen, vermischt.

Was ist statisches (oder festes) foveated rendering?

Der statische Ansatz für das foveated Rendering oder das, was manche als fixed foveated Rendering bezeichnen, geht davon aus, dass der Benutzer sich auf die Mitte des Bildschirms konzentriert (was manchmal der Fall ist). Die Abbildung zeigt, wie Fixed Foveated Rendering in einem VR-Headset funktioniert, indem der Bildschirm in fest kodierte Zonen unterteilt wird. Der angenommene Bereich der Benutzeraufmerksamkeit - angezeigt durch den weißen Teil in der Mitte des Bildschirms - wird mit 100 % gerendert. Die grauen Abschnitte werden mit mittlerer Auflösung gerendert und die hellblauen Bereiche mit niedriger Auflösung, wodurch die für das Rendern der gesamten Szene erforderlichen Ressourcen reduziert werden. Sie können statisches foveated Rendering auf fast jedem Gerät implementieren, und Sie werden wahrscheinlich ein gewisses Maß an Ressourcenoptimierung sehen, aber es führt nicht immer zu einem optimalen Benutzererlebnis. Der Grad der peripheren Verzerrung, den frühe Objektivgenerationen mit sich brachten, bot die Möglichkeit, die Auflösung in Bereichen zu verringern, in denen das Bild ohnehin unscharf gewesen wäre, aber mit der steigenden Objektivqualität stieg auch die Notwendigkeit, das gesamte Sichtfeld in hoher Auflösung zu rendern.

Was ist dynamisches Foveated Rendering?

Dynamisches Foveated Rendering nutzt den tatsächlichen Aufmerksamkeitsbereich des Nutzers, um einen kleinen Teil des Bildes (dargestellt durch den weißen Bereich) vollständig zu rendern, und dehnt sich auf die mittlere (grau) und niedrige Auflösung (hellblau) aus, ohne die Qualität oder das Nutzererlebnis zu beeinträchtigen. Um ein dynamisches Foveated Rendering zu implementieren, benötigen Sie ein präzises Eye Tracking mit geringer Latenz, das wiederholt den exakten Blickpunkt des Benutzers in Echtzeit liefern kann. Einige der Benchmark-Tests, die wir zum dynamischen foveated Rendering durchgeführt haben, haben phänomenale Ergebnisse erbracht. In einem der Tests, die wir auf einem Pico-Headset mit der Unity-Engine durchgeführt haben, sank die GPU-Shading-Belastung um bis zu 72 % mit einem Durchschnitt von etwa 60 %. Unsere Tests ergaben eine drastische Verbesserung der Stabilität der Bildraten, die bei aktiviertem Dynamic Foveated Rendering nicht unter 90 Bilder pro Sekunde fielen. Und das ist großartig für die Benutzererfahrung. Wenn Sie sich eingehender mit den Ergebnissen befassen möchten, empfehle ich Ihnen unser E-Book - Eye Tracking und dynamisches foveated Rendering .

Vorteile des dynamischen Foveated Rendering

Da die Verarbeitungslast gesenkt wird, kann die GPU durch dynamisches Foveated Rendering möglicherweise bei niedrigeren Temperaturen betrieben werden, was zu einem geringeren Stromverbrauch führt, wodurch der Kühlungsbedarf und die lüftungsbedingten Geräusche reduziert werden.

Durch die Begrenzung des Bereichs für das Rendering mit voller Auflösung wird die Belastung komplexer Shader reduziert, wodurch sich die für das Rendern einer Szene benötigte Zeit verringert. Freiwerdende Ressourcen können für realistische Schattierungen und eine höhere Komplexität der Szene genutzt werden.

Vor allem aber ist das Dynamic Foveated Rendering eine Optimierungstechnik, die die Leistung einer bestimmten Hardware-Architektur verbessert. In der Praxis verlängert DFR die Lebensdauer einer ressourcenbeschränkten GPU, die auf einem Standalone-Headset läuft, um neue Inhalte und Display-Technologien zu unterstützen und realistische und immersive Benutzererfahrungen zu niedrigeren Preisen zu liefern.

Was ist dynamischer foveatierter Verkehr?

Dynamischer, fokussierter Transport ist ein grundlegender Faktor für die Einführung von ungebundenen, leichten tragbaren Geräten. Da die Geräte immer leichter und die Ressourcen immer knapper werden, ist der Bedarf an dedizierten Netzwerken mit geringer Latenz und geräteunabhängiger Verarbeitung für viele Anwendungen entscheidend. Eine Möglichkeit zur Reduzierung der Datenmenge, die zwischen den Geräten und der Cloud oder Edge-Verarbeitung übertragen wird, ist die Nutzung des dynamischen foveated transport.

Der dynamische foveated Transport nutzt Eye Tracking, um den Blick des Benutzers zu erfassen und dem Remote-Prozessor mitzuteilen, welche Teile einer Szene in hoher, mittlerer oder niedriger Auflösung gerendert werden sollen, je nachdem, wohin der Benutzer schaut (ähnlich wie beim dynamischen foveated Rendering auf dem Gerät), wodurch die über das Netzwerk übertragene Datenmenge für jede Szene reduziert wird.

Warum ein foveated Rendering?

Foveation technology ist eine entscheidende Technologie für XR. Um dynamisches Foveated Rendering auf einem Gerät zu implementieren, werden Eye Tracking-Komponenten benötigt - Kameras, Beleuchtungen und Algorithmen, die die Augenphysiologie nutzen können. Und diese Technologie muss genaue Blickpunkte in Echtzeit liefern und für die globale Bevölkerung, die das Gerät nutzen wird, funktionieren. Bei kommerziellen Geräten muss die Lösung so konzipiert sein, dass Anwendungen auf hoher Ebene die Vorteile des dynamischen Foveated Rendering ohne umfangreiche Neuprogrammierung nutzen können. Wenn Sie mehr darüber erfahren möchten, wie wir dies in skalierbaren kommerziellen Lösungen erreicht haben, wenden Sie sich bitte an uns.