Realistisches virtuelles Sehen mit dynamischem Foveated Rendering

Tobii Spotlight Technologie

In den letzten zwei Jahrzehnten hat sich Tobii als weltweit führendes Eye Tracking-Unternehmen etabliert und bietet Eye Tracking- und User Sensing-Technologien für eine Vielzahl von Geräten und Anwendungsfällen an. Heute findet sich die Eye Tracking-Technologie von Tobii in Laptops, VR-Headsets, AR-Brillen, innovativen Lösungen für das Gesundheitswesen, assistiven Technologien und vielen weiteren Anwendungen und Produkten. In jüngster Zeit hat Tobii an einer Reihe von Technologien und Fähigkeiten im Zusammenhang mit der foveation technology gearbeitet, die wir Tobii Spotlight Technology nennen. Dieser Blog soll die aktuellen Vorteile, die durch Foveation ermöglicht werden, erforschen, wobei der Schwerpunkt auf den kürzlich von Tobii durchgeführten Benchmarks liegt.

Foveation

Beginnen wir mit ein wenig Hintergrundwissen. Foveation ist ein Rechenverfahren für die Bildwiedergabe, das die Funktionsweise des menschlichen Sehens nachahmt. Beim Dynamic Foveated Rendering (DFR) wird Eye Tracking eingesetzt, um die Verarbeitung und die Bandbreitennutzung auf die Bereiche des Bildes zu konzentrieren, in denen eine hohe Auflösung erforderlich ist - die foveale Region, in die die Person blickt - und eine geringere Auflösung in der Peripherie anzubieten. Die Optimierung des Bildes auf diese Weise simuliert das menschliche Sehen und reduziert gleichzeitig den Bedarf an Bandbreite und Verarbeitung, wodurch die Latenzzeit verkürzt und die Reaktionszeiten verbessert werden.

Tobii Spotlight Technology ist eine fortschrittliche Eye Tracking-Lösung, die speziell für die Foveation-Technologie entwickelt wurde. Sie liefert eine genaue Verfolgung des Blicks des Benutzers in Echtzeit mit geringer Latenz und ermöglicht eine hervorragende dynamische Foveation, die das realistische menschliche Sehen simuliert. Durch die Entlastung des Grafikprozessors und die Verbesserung der gesamten Rendering-Geschwindigkeit bietet die Tobii Spotlight Technology Verbesserungen für das Gesamterlebnis einer VR Anwendung:

• Bessere Bildqualität - Einsparungen bei der GPU ermöglichen das Rendern von hochauflösenden Bildern in Echtzeit im fovealen Bereich. Die DFR-Gewinne sind bei Headsets mit höherer Auflösung größer, da die DFR die Shading-Belastung erheblich reduzieren kann.

• Höhere und flüssigere Bildwiederholraten - die Bildwiederholrate definiert die Leistung und Präsenz einer VR Anwendung. Ein Einbruch der Bildrate (typischerweise bei komplexem Shader-Rendering) führt zu Ruckeln, das für den Benutzer spürbar ist und sogar zu Motion Sickness oder Übelkeit führen kann. DFR trägt dazu bei, flüssigere Bildraten beizubehalten, und die Einsparungen sind in den schwersten Teilen einer Szene mit den komplexesten Schattierungen am größten.

• Verbesserte Grafik - VR-Anwendungen sind im Vergleich zu einem Standard-PC-Spiel sehr anspruchsvoll, was das Rendering angeht. Um das gleiche Leistungsniveau beizubehalten, haben die Entwickler traditionell die Anwendung selbst optimiert, was zu einer Verringerung der Qualität der Szene oder zur Deaktivierung einiger Echtzeiteffekte führen kann. DFR ermöglicht komplexere und realistischere Schattierungen, ohne die GPU-Belastung zu erhöhen, so dass Entwickler höhere Qualitätseinstellungen in ihre Anwendungen integrieren können, ohne die Leistung zu beeinträchtigen.

• Energieeinsparungen - Die Reduzierung der GPU-Last kann auch potenzielle Energieeinsparungen für Laptops, Headsets und andere batteriebetriebene Geräte ermöglichen.

DFR mit NVIDIA Variable Rate Shading (VRS)

Viele Entwickler assoziieren Foveated Rendering heute mit NVIDIA VRS - einer Rendering-Technik, die eine feinere Steuerung der Shading-Dichte und echtes Super-Sampling ermöglicht. Mit VRS können Entwickler die visuelle Qualität verbessern, die GPU-Kosten senken oder sogar beides miteinander kombinieren.

VRS wendet unterschiedliche Mengen an Verarbeitungsleistung auf verschiedene Bereiche des Bildes an. Die Technologie funktioniert, indem sie die Anzahl der Pixel ändert, die von einer Einzelpixel-Shader-Operation verarbeitet werden. Diese Operationen können nun auf Pixelblöcke angewendet werden, so dass Anwendungen die Schattierungsqualität in verschiedenen Bereichen des Bildschirms effektiv variieren können.

Für einen maximalen Effekt kann VRS auch mit Eye Tracking gekoppelt werden, um die optimale Rendering-Qualität an den Blick des Benutzers anzupassen. Mit den benutzerdefinierten NVIDIA VRS-Mustern können Entwickler die Schattierungsdichte auf der Grundlage der Fovea-Region optimieren. Je kleiner die Fovea-Region ist, desto größer ist der Gewinn an GPU-Einsparungen. Die Größe der Fovea-Region wird bestimmt durch:

• Effektives Sichtfeld des Bildschirms - Die Winkelausdehnung für die Foveation variiert nicht mit dem Sichtfeld. Mit anderen Worten: Der Prozentsatz des Bildschirms, der eine hohe Qualität aufweisen muss, nimmt mit zunehmendem Sichtfeld ab.

• Bildartefakte, die durch die Foveated-Rendering-Technik entstehen.

• Latenzzeit bei der Darstellung der verfolgten Foveation.

• Genauigkeit und Robustheit des Eye Tracking Systems.

• Empfindlichkeit des Benutzers gegenüber Artefakten.

DFR mit VRS-Foveation bietet dem Benutzer das optimalste benutzerdefinierte Muster, wenn es mit einem Eye Tracking-Signal mit niedriger Latenzzeit kombiniert wird. Dadurch wird der Nutzen der Aktivierung von VRS in der Anwendung maximiert, da die Schattierungsrate erheblich reduziert werden kann, was die Gesamtleistung der Anwendung verbessert und eine bessere Bildqualität mit Super-Sampling im Fovea-Bereich ermöglicht.

Anpassen an den Nutzer

Nicht alle Eye Tracking-Signale sind gleich. Latenzzeit, Frequenz, Genauigkeit und Rauschen sind offensichtliche Faktoren, die zur Größe der fovealen Region beitragen. Weniger offensichtlich sind die Auswirkungen der Signalzuverlässigkeit, der Abdeckung der Population, des Abfalls der Winkelgenauigkeit und der Eye Tracking-Signalartefakte.

Außerdem ist die Fähigkeit, Blicke zu verfolgen, in der Bevölkerung unterschiedlich ausgeprägt. Manche Menschen sind leicht zu verfolgen, während andere überhaupt nicht zu verfolgen sind. Ein Benutzer, der normalerweise leicht zu verfolgen ist, kann dies durch Müdigkeit, Dehydrierung und Krankheit verlieren. Eine wirksame Foveation sollte diese Schwankungen berücksichtigen.

Tobii hat erhebliche Investitionen in die Erforschung foveationsspezifischer Signale getätigt, einschließlich der Entwicklung spezieller foveationsspezifischer Rendering-Tracking-Signale, die einige der schädlichen Signalartefakte, die bei nicht-spezialisierten Signalen auftreten können, reduzieren oder eliminieren.

Benchmarks

Kürzlich hat Tobii eine Reihe von Benchmarks durchgeführt, in denen die Leistungsvorteile von Fixed Foveated Rendering und Dynamic Foveated Rendering verglichen wurden. Fixed Foveated Rendering (FFR) ist eine Technik, die von einer Blickrichtung nach vorne ausgeht und die Rendering-Kosten für Anzeigebereiche begrenzt, die im Headset nicht deutlich sichtbar sind, hauptsächlich im Bereich der Linsenverzerrung. Bei der DFR hingegen wird der foveale Bereich dorthin verschoben, wohin der Benutzer blickt, wodurch die Größe des fovealen Bereichs weiter reduziert wird.

Die Ergebnisse (im Vergleich zu keiner Foveation) sind durchweg positiv:

• DFR führt zu einer durchschnittlichen Verringerung der GPU-Shading-Belastung um etwa 57 %, während Tests mit gesperrten 6dof (um sicherzustellen, dass Sie einen konstanten Frame für jede Voreinstellung haben) auf verschiedenen Teilen der Szene durchgeführt werden. Die Reduzierung ist bei pixelintensiveren Teilen der Szene höher.

• DFR reduziert die GPU-Belastung so drastisch, dass Auflösungen von 8K und mehr auf zukünftigen Headsets möglich sind.

• DFR ermöglicht es Entwicklern, komplexe Shader und Effekte für grafische Verbesserungen hinzuzufügen und dabei eine hohe Leistung beizubehalten.

Bei den Tests auf der Vive Pro Eye haben wir die Foveation-Parameter für die variable Schattierungsrate optimiert, um eine Schattierungsrate von 16 % für DFR zu erreichen. Für Fixed haben wir die Schattierungsdichte auf 40 % konfiguriert, was für die Parameter des Vive Pro Eye-Headsets am besten funktioniert und für den Benutzer in der Peripherie nicht wahrnehmbar ist, wenn es aktiviert ist. Der Bildschirm ist in mehrere Regionen unterteilt, die von der Fovea (dorthin, wohin der Benutzer blickt) über die Mitte (ein Übergang von der Fovea zur Peripherie) bis zur Peripherie (die Region ist für maximale Verstärkung optimiert) reichen. In der Abbildung unten zeigt die farbige Überlagerung die Regionen für FFR und DFR mit unterschiedlichen Größen- und Formparametern. Die Farbkodierung ist ein Gradient, der auf dem Logarithmus der Dichte basiert, wobei blau = 1 Probe, violett = 1/4 Proben, violett-rot = 1/8 Proben, rot = 1/16 Proben und schwarz = ausgemerzt.

Showdown VR ist ein kinematisches Erlebnis, bei dem die Szene in verschiedenen Teilen eine unterschiedliche Komplexität aufweist. Dies ermöglicht es uns, die GPU-Shading-Last für den höchsten und niedrigsten Wert zu ermitteln und sie in den Rendering-Modi Voll, Fest und Dynamisch zu vergleichen. In der nachstehenden Abbildung ist zu erkennen, dass die Shading-Belastung für einige Teile der Szene beim vollständigen Rendering stark ansteigt (siehe zweite Explosion). Die DFR-Ergebnisse für die Schattierungslast sind relativ konsistent und weisen selbst für den schwersten Teil der Szene weniger Spitzen auf, was zu einem wesentlich flüssigeren Erlebnis führt. Für den folgenden Test haben wir eine leichte Änderung der Szene vorgenommen - die Szene wurde dreifach gesampelt, um die Auflösung für eine bessere Bildqualität zu erhöhen. Hier beobachten wir eine weitere Verringerung der GPU-Shading-Last mit einer DFR von etwa 74,59 %, obwohl die Gesamt-Shading-Last für die Szene gestiegen ist.

Headsets der nächsten Generation zielen auf eine höhere Auflösung und ein größeres Sichtfeld ab, wodurch immer mehr Pixel auf dem Bildschirm gerendert werden müssen. In der folgenden Grafik sehen wir, dass bei einer normalen VR Anwendung die gerenderten Pixel exponentiell ansteigen. Vergleicht man dies mit DFR, so ist ein signifikanter Rückgang bei Headsets mit höherer Auflösung in Richtung 8K und darüber hinaus zu beobachten. Dies wirkt sich direkt auf die GPU-Shading-Last aus, so dass die Einsparungen mit DFR mit zunehmender Auflösung des Headsets steigen. Dies gilt auch für die Anwendungen mit Supersampling für die Headsets der bestehenden Generation.

Entwickler können diese leistungssteigernden Vorteile auch nutzen, um die visuellen Effekte in der Szene erheblich zu steigern und gleichzeitig eine gleichmäßige Bildrate beizubehalten. Dies ermöglicht es den Entwicklern und Designern, die Grenzen von visuellen Effekten und komplexen Shadern zu erweitern. In der Abbildung unten haben wir einige Änderungen an Showdown VR getestet, um Shader- und Beleuchtungseffekte ohne zusätzliche Kosten für die Belastung zu verbessern.

Schlussfolgerung

Für eine VR Anwendung ist eine konstant hohe Leistung sehr wichtig. DFR ermöglicht Anwendungen, diese hohe Leistung beizubehalten und unterstützt darüber hinaus höhere Auflösungen und bessere visuelle Effekte. Wenn die Tobii Spotlight Technologie mit Technologien wie NVIDIAs Variable Rate Shading kombiniert wird, erhalten wir maximalen Nutzen aus der foveation technology bei gleichzeitiger Reduzierung der GPU Shading Belastung. Die Tobii Spotlight Technology geht über das reine Rendering hinaus und bietet verschiedene Anwendungen für die dynamische Foveation technology, wie z. B. foveated transport und streaming.

Mehr zur Tobii Spotlight Technologie

Erfahren Sie mehr über die Tobii Spotlight Technology und andere dynamische foveation applications.

Weitere Informationen finden Sie auch in der Podiumsdiskussion auf der Siggraph.

Möchten Sie mehr über foveation technology und Tobii Spotlight Technology erfahren?

Unser eBook herunterladen Eye Tracking und dynamisches Foveation-Rendering - Technologien zur Lösung der VR-Herausforderung .