Les yeux rivés sur NVIDIA : L'eye tracking de la RV n'est qu'un début

Dans ce billet, David Weinstein, directeur de la réalité virtuelle et augmentée chez NVIDIA, décrit les principales tendances qui stimulent le marché de la RX, ainsi que les éventuels défis à venir et les cas d'utilisation solides. Il s'agit du quatrième article de la série de blogs de Tobii intitulée "The Future of XR", dans laquelle les partenaires commerciaux de Tobii partagent leurs points de vue sur le développement de l'industrie de la réalité virtuelle.

Quelles sont les tendances les plus significatives qui auront un impact sur le marché du XR dans les 3 à 5 années à venir ?

Trois grandes tendances se conjugueront pour avoir un impact énorme sur le marché du XR : la diffusion en continu, l'IA et l'immersion accrue.

Le streaming XR n'en est actuellement qu'à ses débuts, avec des technologies comme NVIDIA CloudXR qui commencent à peine à se déployer. Avec la généralisation de la 5G, les algorithmes et les expériences XR seront de plus en plus partagés entre le client et le serveur afin de tirer parti de la puissance massive du cloud et de l'efficacité proximale du HMD. Avec tous ces éléments combinés, le streaming deviendra la norme pour le XR.

À cette occasion, la puissance de l'IA améliorera notre expérience de XR, avec un meilleur streaming, des agents intelligents et des interfaces utilisateur naturelles comme Jarvis de NVIDIA pour la compréhension du langage naturel et la reconnaissance des gestes.

Le troisième facteur qui aura un impact majeur sur l'adoption du XR sera le nouveau matériel de détection et les logiciels d'IA, afin d'améliorer notre niveau d'immersion.L'eye tracking est un début - il est déjà utilisé pour optimiser le rendu, comme dans le cas de Variable Rate Shading dans VRWorks SDK de NVIDIA de NVIDIA, et rendra bientôt possible le photoréalisme immersif par traçage de rayons.

Et avec l'arrivée prochaine d'un plus grand nombre de capteurs biométriques, les logiciels d'IA interpréteront et exploiteront ces données, ce qui permettra : de nous aider à nous sentir connectés les uns aux autres grâce à des avatars expressifs ; de personnaliser et d'accélérer la formation et l'apprentissage sur la base du biofeedback ; et, à terme, de contrôler nos environnements virtuels par le biais d'interfaces neuronales.

Quels sont, selon vous, les principaux obstacles à l'adoption de la technologie XR à l'heure actuelle ?

L'adoption de la RV s'accélérera lorsque nous aurons relevé trois défis majeurs : le contenu, le confort et l'isolement. En tant que nouvelle technologie, les gens ont besoin d'une raison convaincante d'adopter la RV - le "facteur wow" suscite l'intérêt, l'excitation et le battage médiatique, mais il ne conduit pas nécessairement à une adoption généralisée. Il est encourageant de constater que nous commençons à voir de plus en plus de contenus VR de haute qualité, comme dans des titres VR populaires tels que Half-Life : Alyx , et de puissantes applications de visualisation d'entreprise comme Autodesk VRED et ZeroLight. Bientôt, nous verrons la RV photo-réelle à tracé de rayon, ce qui changera la donne pour les flux de travail de conception.

Le deuxième facteur est le confort et la commodité. Pour qu'une nouvelle technologie soit largement adoptée, elle doit être facile à utiliser. Comme les HMD sont de plus en plus légers et faciles à installer, et que la qualité des images de RV s'améliore constamment, le rapport coût-bénéfice du passage à la RV passe le cap pour de plus en plus d'utilisateurs.

Le troisième défi est l'isolement. L'une des principales promesses de la RV a toujours été la collaboration. Mais, ironiquement, les principaux cas d'utilisation actuels continuent d'être solitaires (par exemple, les jeux à un seul joueur et la visualisation de conception à un seul utilisateur). Cette situation commence à changer.

Nous constatons d'importants progrès sur ce front, qu'il s'agisse de jeux VR multijoueurs de haute qualité, d'environnements VR sociaux attrayants ou de plates-formes XR d'entreprise collaboratives telles que NVIDIA Omniverse . Le prochain obstacle que nous rencontrerons sur ce front sera d'intégrer dans la RV tous les signaux sociaux auxquels nous nous fions, tels que le sourire, le contact visuel et le langage corporel, par le biais d'avatars naturels et expressifs.

Qu'est-ce qui devra changer au cours des trois prochaines années pour modifier ou réduire ces défis ?

Comme nous l'avons dit, nous constatons de grands progrès sur de nombreux fronts. Mais dans certains cas, les solutions apportées à un défi entraîneront des revers dans un autre domaine. Par exemple, bien que les gens apprécient la commodité mobile des casques All-In-One (AIO), ces types de casques n'ont pas assez de puissance graphique pour offrir des expériences visuelles époustouflantes avec une carte graphique haute performance comme la NVIDIA RTX A6000 . Une solution émergente à ce problème est le rendu divisé, comme le CloudXR de NVIDIA : rendre les images XR sur un PC distant doté d'un GPU puissant et transmettre le rendu à l'AIO.

De même, les cadres en mode divisé permettront d'amortir les calculs partagés entre plusieurs participants à des expériences collaboratives, comme le calcul de l'illumination globale une fois pour tous les participants à une revue de conception architecturale, ou la simulation de la physique du monde une fois pour tous les joueurs d'un jeu. Ces cadres en mode divisé nécessiteront des réseaux rapides et omniprésents tels que la 5G, ainsi qu'un calcul et un rendu accélérés à la périphérie.

Du côté des entreprises, quels sont les secteurs qui bénéficieront le plus de la technologie XR et pourquoi ?

L'un des points forts de la RX est qu'elle sera largement applicable dans tous les secteurs d'activité. Les premiers utilisateurs de la RX l'ont largement utilisée pour la conception et la formation, en raison de sa capacité à comprendre la composition et l'échelle, et de la fidélité avec laquelle les expériences peuvent être simulées. La valeur de la RX ne peut pas être surestimée pour ces cas d'utilisation en entreprise. À long terme, la RX sera omniprésente ; il s'agit d'une nouvelle modalité et nous ne faisons qu'effleurer la surface des endroits où elle sera utilisée et de la manière dont elle le sera.

Les plus grands gagnants seront les flux de travail collaboratifs auxquels participeront à la fois des humains et des IA - ces flux de travail connaîtront d'énormes améliorations en termes d'efficacité et de résultats. La plate-forme Omniverse de NVIDIA est un excellent exemple de la façon dont une plate-forme d'entreprise collaborative peut permettre un énorme bond en avant en termes d'efficacité et de productivité.

Pouvez-vous décrire le rôle de NVIDIA dans l'écosystème XR ?

NVIDIA est fière de sa position de leader dans l'écosystème XR. Depuis des années, les GPU de NVIDIA et les technologies de visualisation évolutives telles que NVIDIA Quadro Sync sont à la base des murs d'affichage des CAVE multi-utilisateurs, des simulateurs de vol de l'armée de l'air et des énormes espaces de visualisation immersifs, comme ceux que l'on trouve dans les musées interactifs et les planétariums. Les GPU de NVIDIA ont piloté les premiers écrans montés sur la tête, alors qu'ils étaient principalement utilisés pour les simulateurs de vol et la recherche en sciences cognitives. NVIDIA a également développé les premiers outils VRWorks tels que Direct Mode et Context Priority pour permettre de piloter efficacement les premiers HMD Oculus Rift et HTC Vive lorsqu'ils sont arrivés sur le marché en 2015.

Depuis, nous avons élargi notre offre XR. Nous avons continué à fournir de nouveaux SDK pour les développeurs VR, notamment des outils pour la physique VR, l'audio VR, les technologies de rendu VR comme le Multi-Res Shading, le Lens-Matched Shading et le Variable Rate Shading, ainsi que la technologie de rendu AI comme NVIDIA DLSS . Nous avons également continué à stimuler nos performances VR avec chaque architecture GPU suivante, en ajoutant un nouveau support matériel pour améliorer et accélérer les expériences VR. Et plus récemment, nous avons créé NVIDIA CloudXR, permettant à l'écosystème de profiter des expériences VR et AR de la plus haute qualité sur n'importe quel appareil XR via un streaming optimisé et adapté au réseau.

Nous avons eu la chance d'avoir des partenaires visionnaires et des clients de pointe qui ont adopté très tôt notre technologie XR et qui nous ont aidés à montrer au monde ce qu'il était possible de faire. Récemment, nous avons mis en lumière un grand nombre de ces projets et technologies lors de notre conférence GTC 2021 . La piste GTC XR était remplie de présentations de produits, de partenaires et de clients, tous soulignant comment la technologie NVIDIA XR propulse l'écosystème vers l'avant. Si vous avez manqué la GTC, les vidéos des sessions sont disponibles sur NVIDIA On-Demand .