NVIDIA에 주목하세요: VR 시선추적은 시작에 불과합니다.

이 포스팅에서는 NVIDIA의 가상 및 증강현실 담당 이사인 데이비드 와인스타인이 XR 시장을 이끄는 주요 트렌드와 향후 예상되는 과제 및 강력한 사용 사례에 대해 간략하게 설명합니다. 이 포스팅은 토비의 비즈니스 파트너가 XR 산업의 발전에 대한 견해를 공유하는 Tobii 블로그 시리즈 "XR의 미래"의 네 번째 포스팅입니다.

향후 3~5년 동안 XR 시장에 영향을 미칠 가장 중요한 트렌드는 무엇인가요?

스트리밍, AI, 몰입감 향상이라는 세 가지 주요 트렌드가 결합하여 XR 시장에 막대한 영향을 미칠 것입니다.

XR 스트리밍은 현재 다음과 같은 기술을 통해 초기 단계에 있습니다. NVIDIA CloudXR 과 같은 기술이 이제 막 출시되기 시작했습니다. 5G가 더욱 널리 보급됨에 따라 XR 알고리즘과 경험은 점점 더 클라이언트와 서버로 분리되어 클라우드의 막대한 성능과 HMD의 근거리 효율성을 활용할 수 있게 될 것입니다. 이러한 모든 요소가 결합되면 스트리밍이 XR의 표준이 될 것입니다.

그렇게 되면 AI의 힘은 향상된 스트리밍, 지능형 에이전트, 다음과 같은 자연스러운 사용자 인터페이스를 통해 우리가 XR을 경험하는 방식을 향상시킬 것입니다. 엔비디아의 자비스 와 같은 자연어 이해 및 제스처 인식을 위한 자연스러운 사용자 인터페이스를 통해 더욱 향상된 스트리밍과 지능형 에이전트를 제공합니다.

몰입도를 높이기 위한 새로운 센서 하드웨어와 AI 소프트웨어가 XR 도입에 큰 영향을 미칠 세 번째 요소입니다.시선추적은 시작입니다 – 이미 다음과 같이 렌더링을 최적화하는 데 사용되고 있습니다. 가변 비율 셰이딩 에서 렌더링을 최적화하는 데 이미 사용되고 있습니다.에서 이미 렌더링을 최적화하는 데 사용되고 있으며, 곧 몰입형 레이 트레이싱 포토리얼리즘을 실현할 수 있게 될 것입니다.

더 많은 생체 인식 센서가 곧 출시되면 AI 소프트웨어가 해당 데이터를 해석하고 작동하여 표현형 아바타를 통해 서로 연결되어 있다고 느끼도록 돕고, 바이오 피드백을 기반으로 훈련과 학습을 맞춤화하고 가속화하며, 궁극적으로 신경 인터페이스를 통해 가상 환경을 제어할 수 있게 될 것입니다.

오늘날 XR 도입의 가장 큰 과제는 무엇이라고 생각하시나요?

콘텐츠, 편안함, 고립감이라는 세 가지 주요 과제를 해결하면 XR 채택이 가속화될 것입니다. 새로운 기술인 만큼 사람들은 XR을 채택해야 할 강력한 이유가 필요합니다 — '와우 팩터'는 관심과 흥미를 유발하고 과대광고를 불러일으키지만 반드시 폭넓은 채택으로 이어지지는 않습니다. 고무적인 점은 하프라이프와 같은 인기 VR 타이틀처럼 고품질의 VR 콘텐츠가 점점 더 많이 등장하고 있다는 점입니다 : Alyx와 같은 인기 VR 타이틀과 Autodesk VRED, 제로라이트와 같은 강력한 엔터프라이즈 시각화 응용 분야가 등장하고 있습니다. 곧 디자인 워크플로우의 판도를 바꿀 레이 트레이싱 포토리얼 VR도 출시될 예정입니다.

두 번째 요소는 편안함과 편리함입니다. 새로운 기술이 널리 채택되려면 사용하기 쉬워야 합니다. HMD가 점점 더 가벼워지고 설치가 쉬워지고 VR 화질이 지속적으로 개선됨에 따라 점점 더 많은 사용자가 VR에 뛰어들면서 비용 대비 편익이 티핑 포인트를 지나고 있습니다.

세 번째 과제는 고립입니다. VR의 주요 약속 중 하나는 언제나 협업이었습니다. 하지만 아이러니하게도 오늘날의 주요 사용 사례는 여전히 싱글 플레이어 게임과 단일 사용자 디자인 시각화 등 혼자서 하는 경우가 많습니다. 이제 변화가 시작되고 있습니다.

고품질 멀티플레이어 VR 게임과 매력적인 소셜 VR 환경부터 다음과 같은 협업형 엔터프라이즈 XR 플랫폼에 이르기까지 이 분야에서 큰 진전이 이루어지고 있습니다. 엔비디아 옴니버스. 이 분야에서 우리가 직면하게 될 다음 장애물은 자연스럽고 표현력이 풍부한 아바타를 통해 미소, 눈맞춤, 몸짓 등 우리가 의존하는 모든 사회적 신호를 VR로 가져오는 것입니다.

이러한 과제를 전환하거나 줄이기 위해 향후 3년 동안 어떤 변화가 필요할까요?

앞서 언급했듯이 여러 측면에서 큰 진전을 보이고 있습니다. 하지만 어떤 경우에는 한 가지 문제에 대한 해결책이 다른 문제에서 좌절로 이어지는 경우도 있습니다. 예를 들어, 사람들은 올인원(AIO) 헤드셋의 모바일 편의성을 좋아하지만, 이러한 종류의 헤드셋은 고성능 그래픽 카드에서 제공하는 놀라운 시각적 경험을 제공하기에 충분한 그래픽 마력이 없습니다. NVIDIA RTX A6000. 이 문제에 대한 새로운 해결책으로 떠오르는 것이 NVIDIA의 CloudXR과 같은 분할 렌더링입니다. 강력한 GPU를 갖춘 원격 PC에서 XR 프레임을 렌더링하고 렌더링을 AIO로 스트리밍하는 방식입니다.

분할 모드 프레임워크는 건축 설계 검토에서 모든 사람이 전역 조명을 한 번 계산하거나 게임에서 모든 플레이어가 세계의 물리학을 한 번 시뮬레이션하는 등 협업 경험에서 여러 참여자 간에 공유 계산을 분담할 수 있게 해줍니다. 이러한 분할 모드 프레임워크에는 5G와 같은 빠른 유비쿼터스 네트워크와 엣지에서의 가속화된 컴퓨팅 및 렌더링이 필요합니다.

기업 측면에서는 어떤 산업이 XR을 통해 가장 큰 혜택을 받을 수 있으며 그 이유는 무엇인가요?

XR의 강점 중 하나는 다양한 분야에 폭넓게 적용할 수 있다는 점입니다. XR을 가장 먼저 채택한 기업들은 구성과 규모를 이해하고 경험을 시뮬레이션할 수 있는 충실도 덕분에 디자인 및 교육에 광범위하게 사용해 왔습니다. 이러한 기업 사용 사례에서 XR의 가치는 아무리 강조해도 지나치지 않습니다. 장기적으로 볼 때 XR은 모든 곳에 적용될 것이며, 새로운 방식이기 때문에 어디에서 어떻게 사용될지 이제 막 시작했을 뿐입니다.

가장 큰 승자는 인간과 AI가 모두 참여하는 협업 워크플로우가 될 것입니다 – 이러한 워크플로는 효율성과 결과물 측면에서 엄청난 개선을 보게 될 것입니다. NVIDIA의 옴니버스 플랫폼은 협업 엔터프라이즈 플랫폼이 어떻게 효율성과 생산성에서 엄청난 도약을 가능하게 하는지를 보여주는 좋은 예입니다.

XR 생태계에서 NVIDIA의 역할에 대해 설명해 주시겠습니까?

NVIDIA는 XR 생태계를 선도해 온 자랑스러운 역사를 가지고 있습니다. 수년 동안 NVIDIA의 GPU와 확장 가능한 시각화 기술은 다음과 같습니다. 엔비디아 쿼드로 싱크 와 같은 확장 가능한 시각화 기술은 다중 사용자 동굴, 공군 비행 시뮬레이터, 인터랙티브 박물관 및 천문관과 같은 거대한 몰입형 시각화 공간의 디스플레이 월을 주도해 왔습니다. 비행 시뮬레이터와 인지 과학 연구에 주로 사용되던 초기 헤드마운트 디스플레이는 NVIDIA의 GPU가 주도했습니다. 또한 NVIDIA는 다이렉트 모드 및 컨텍스트 우선순위와 같은 초기 VRWorks 툴을 개발하여 2015년에 출시된 최초의 Oculus Rift 및 HTC Vive HMD를 효율적이고 효과적으로 구동할 수 있도록 했습니다.

그 이후로 유니티는 XR 제품을 더욱 확장했습니다. VR 물리, VR 오디오, 멀티 레졸루션 셰이딩, 렌즈 매칭 셰이딩, 가변 속도 셰이딩과 같은 VR 렌더링 기술, 그리고 다음과 같은 AI 렌더링 기술 등 VR 개발자를 위한 새로운 SDK를 지속적으로 제공해 왔습니다. NVIDIA DLSS. 또한 후속 GPU 아키텍처가 나올 때마다 VR 성능을 지속적으로 향상시켜 왔으며, 새로운 하드웨어 지원을 추가하여 VR. 경험을 개선하고 가속화했습니다. 그리고 가장 최근에는 네트워크에 최적화된 적응형 스트리밍을 통해 생태계가 모든 XR 기기에서 최고 품질의 VR 및 AR 경험을 즐길 수 있도록 NVIDIA CloudXR을 만들었습니다.

저희는 운이 좋게도 XR 기술의 얼리 어답터이자 세상에 가능성을 보여주는 데 도움을 준 선구적인 파트너와 최첨단 고객들을 보유하고 있습니다. 최근에는 이러한 프로젝트와 기술 중 많은 부분을 저희의 GTC 2021 컨퍼런스제품, 파트너, 고객 강연( — )으로 가득 찬 GTC XR 트랙에서는 NVIDIA XR 기술이 어떻게 생태계를 발전시키고 있는지를 강조했습니다. GTC를 놓치신 경우, 세션 비디오는 다음을 통해 시청하실 수 있습니다. 엔비디아 온디맨드.