Augen auf NVIDIA: VR Eye Tracking ist erst der Anfang

In diesem Beitrag skizziert David Weinstein, Director of Virtual and Augmented Reality bei NVIDIA, die wichtigsten Trends, die den XR-Markt vorantreiben, sowie mögliche zukünftige Herausforderungen und starke Anwendungsfälle. Dies ist der vierte Beitrag in Tobiis Blog-Serie "The Future of XR", in der Tobiis Geschäftspartner ihre Ansichten über die Entwicklung der XR-Branche teilen.

Was sind die wichtigsten Trends, die den XR-Markt in den kommenden 3 bis 5 Jahren beeinflussen werden?

Es gibt drei große Trends, die zusammenkommen und einen enormen Einfluss auf den XR-Markt haben werden: Streaming, KI und erhöhte Immersion.

Das XR-Streaming steckt derzeit noch in den Kinderschuhen, da Technologien wie NVIDIA CloudXR gerade erst auf den Markt kommen. Mit der zunehmenden Verbreitung von 5G werden XR-Algorithmen und -Erlebnisse zunehmend zwischen dem Client und dem Server aufgeteilt, um die enorme Leistung der Cloud und die unmittelbare Effizienz des HMD zu nutzen. Mit all diesen Elementen zusammen wird Streaming zur Norm für XR werden.

Dabei wird die KI die Art und Weise, wie wir XR erleben, mit verbessertem Streaming, intelligenten Agenten und natürlichen Benutzeroberflächen wie Jarvis von NVIDIA für natürliches Sprachverständnis und Gestenerkennung verbessern.

Der dritte Faktor, der einen großen Einfluss auf die Akzeptanz von XR haben wird, ist neue Sensor-Hardware und KI Software, um die Immersion zu erhöhen. Eye Tracking ist der Anfang - es wird bereits zur Optimierung des Renderings eingesetzt, wie bei Variable Schattierungsrate in NVIDIAs VRWorks SDK und wird bald immersiven Raytracing-Fotorealismus möglich machen.

Und da es bald mehr biometrische Sensoren geben wird, wird KI-Software diese Daten interpretieren und verarbeiten, was dazu führen wird, dass wir uns durch ausdrucksstarke Avatare miteinander verbunden fühlen, Training und Lernen auf der Grundlage von Biofeedback anpassen und beschleunigen und schließlich unsere virtuellen Umgebungen durch neuronale Schnittstellen steuern können.

Worin bestehen Ihrer Meinung nach die größten Herausforderungen bei der Einführung von XR heute?

Die Akzeptanz von XR wird sich beschleunigen, wenn wir die drei wichtigsten Herausforderungen angehen: Inhalte, Komfort und Isolation. Als neue Technologie brauchen die Menschen einen überzeugenden Grund, um XR zu nutzen - der "Wow-Faktor" schafft Interesse, Begeisterung und einen Hype, aber er führt nicht unbedingt zu einer breiten Akzeptanz. Ermutigend ist, dass wir mehr und mehr hochwertige VR-Inhalte sehen, wie in beliebten VR-Titeln wie Half-Life: Alyx , und leistungsstarke Visualisierungsanwendungen für Unternehmen wie Autodesk VRED und ZeroLight. Schon bald werden wir Raytraced Photo-Real-VR sehen, was für Design-Workflows eine große Veränderung darstellen wird.

Der zweite Faktor ist Komfort und Bequemlichkeit. Damit eine neue Technologie auf breiter Front angenommen wird, muss sie einfach zu bedienen sein. Da die HMDs immer leichter und einfacher einzurichten sind und sich die VR-Bildqualität ständig verbessert, überschreitet das Kosten-Nutzen-Verhältnis beim Einstieg in die VR für immer mehr Nutzer den Schwellenwert.

Die dritte Herausforderung ist die Isolation. Eines der Hauptversprechen von VR war immer die Zusammenarbeit. Doch ironischerweise sind die heutigen Hauptanwendungsfälle nach wie vor solitär (z. B. Einzelspieler-Spiele und Design-Visualisierung für Einzelpersonen). Dies beginnt sich nun zu ändern.

Wir sehen große Fortschritte in diesem Bereich, von hochwertigen Multiplayer-VR-Spielen und ansprechenden sozialen VR-Umgebungen bis hin zu kollaborativen XR-Plattformen für Unternehmen wie NVIDIA Omniverse . Die nächste Hürde in diesem Bereich wird darin bestehen, alle sozialen Signale, auf die wir uns verlassen, wie Lächeln, Augenkontakt und Körpersprache, durch natürliche, ausdrucksstarke Avatare in die VR zu bringen.

Was wird sich in den nächsten drei Jahren ändern müssen, um diese Herausforderungen zu bewältigen oder zu verringern?

Wie bereits erwähnt, sehen wir große Fortschritte an vielen Fronten. Aber in manchen Fällen führen die Lösungen für eine Herausforderung zu Rückschlägen in anderen Bereichen. So lieben die Menschen zwar den mobilen Komfort von All-In-One (AIO)-Headsets, aber diese Art von Headsets verfügen nicht über genügend Grafikleistung, um die atemberaubenden visuellen Erlebnisse zu liefern, die eine Hochleistungsgrafikkarte wie die NVIDIA RTX A6000 bietet. Eine sich abzeichnende Lösung für dieses Problem ist das geteilte Rendering, wie z. B. NVIDIAs CloudXR: Rendering der XR-Frames auf einem entfernten PC mit einem leistungsstarken Grafikprozessor und Streaming des Renderings an das AIO.

Split-Mode-Frameworks werden es in ähnlicher Weise ermöglichen, gemeinsame Berechnungen für mehrere Teilnehmer an kollaborativen Erlebnissen zu amortisieren, z. B. die Berechnung der globalen Beleuchtung für alle Teilnehmer an einer architektonischen Entwurfsprüfung oder die Simulation der Physik der Welt für alle Spieler in einem Spiel. Diese Split-Mode-Frameworks erfordern schnelle, allgegenwärtige Netze wie 5G sowie beschleunigte Rechen- und Rendering-Leistungen am Rand.

Welche Branchen werden auf Unternehmensseite am meisten von XR profitieren und warum?

Eine der Stärken von XR ist seine breite Anwendbarkeit in verschiedenen Branchen. Die ersten Anwender von XR haben es ausgiebig für Design und Schulungen genutzt, da es die Zusammensetzung und Skalierung von Inhalten verstehen kann und Erlebnisse originalgetreu simuliert werden können. Der Wert von XR für diese Anwendungsfälle in Unternehmen kann gar nicht hoch genug eingeschätzt werden. Langfristig wird XR überall zu finden sein; es ist eine neue Modalität, und wir haben erst begonnen, an der Oberfläche zu kratzen, wo und wie sie eingesetzt werden wird.

Viele der größten Gewinner werden kollaborative Workflows sein, an denen sowohl Menschen als auch KI beteiligt sind - diese Workflows werden enorme Verbesserungen in Bezug auf Effizienz und Ergebnisse erfahren. Die Omniverse-Plattform von NVIDIA ist ein großartiges Beispiel dafür, wie eine kollaborative Unternehmensplattform einen enormen Effizienz- und Produktivitätssprung ermöglichen kann.

Können Sie die Rolle von NVIDIA im XR-Ökosystem beschreiben?

NVIDIA hat eine stolze Geschichte als Marktführer im XR-Ökosystem. Seit Jahren treiben NVIDIAs Grafikprozessoren und skalierbare Visualisierungstechnologien wie NVIDIA Quadro Sync die Display-Wände in Mehrbenutzer-CAVEs, Flugsimulatoren der Air Force und riesigen immersiven Visualisierungsräumen an, wie sie in interaktiven Museen und Planetarien zu finden sind. NVIDIAs Grafikprozessoren haben die ersten Head-Mounted-Displays angetrieben, die vor allem in Flugsimulatoren und in der kognitionswissenschaftlichen Forschung eingesetzt wurden. Und NVIDIA entwickelte frühe VRWorks-Tools wie Direct Mode und Context Priority, um die ersten HMDs von Oculus Rift und HTC Vive effizient und effektiv zu steuern, als diese 2015 auf den Markt kamen.

Seitdem haben wir unser XR-Angebot ausgeweitet. Wir haben weiterhin neue SDKs für VR-Entwickler bereitgestellt, darunter Tools für VR-Physik, VR-Audio, VR-Rendering-Technologien wie Multi-Res Shading, Lens-Matched Shading und Variable Rate Shading sowie KI-Rendering-Technologie wie NVIDIA DLSS . Darüber hinaus haben wir mit jeder neuen GPU-Architektur die VR-Leistung weiter gesteigert und neue Hardware-Unterstützung hinzugefügt, um VR-Erlebnisse zu verbessern und zu beschleunigen. Und vor kurzem haben wir NVIDIA CloudXR entwickelt, das es dem Ökosystem ermöglicht, VR- und AR-Erlebnisse in höchster Qualität auf jedem XR-Gerät über optimiertes, netzwerkadaptives Streaming zu genießen.

Wir haben das Glück, visionäre Partner und innovative Kunden zu haben, die unsere XR-Technologie schon früh eingesetzt haben und uns dabei geholfen haben, der Welt zu zeigen, was möglich ist. Kürzlich haben wir viele dieser Projekte und Technologien auf unserer GTC 2021-Konferenz vorgestellt. Der GTC XR-Track war vollgepackt mit Produkt-, Partner- und Kundenvorträgen, die alle aufzeigten, wie die NVIDIA XR-Technologie das Ökosystem vorantreibt. Falls Sie die GTC verpasst haben, können Sie die Videos der Sitzungen über NVIDIA On-Demand abrufen.