단일 헤드셋에서 가장 많이 찾는 3대 기술

XR이 더 널리 채택되기 위해 개발, 개선, 통합해야 할 가장 중요한 구성 요소와 기능은 무엇이라고 생각하시나요?

2019 XR 산업 설문조사에 따르면 XR 도입을 주도할 상위 3가지 구성 요소와 기능은 다음과 같습니다:
1) 헤드셋의 편안함과 사용성
2) 시야각
3) 시선추적

HP의 최신 VR 헤드셋인 HP 리버브 G2 옴니셉트 에디션의 디자인은 이 세 가지를 모두 제공합니다. 114도 시야각, 시선추적, PPG 센서 심박수 모니터링, 입술 움직임을 포착하는 안면 카메라를 갖춘 이 헤드셋은 차세대 VR을 명확하게 표현한 제품이라고 생각합니다.

이미 환상적인 헤드셋으로 제공 — HP Reverb G2 — Omnicept 에디션은 편견 없는 통찰력을 포착하여 교육, 건강, 디자인 및 협업 분야에서 고급 VR 응용 분야를 가능하게 하는 상업용 헤드셋입니다.

토비의 XR OEM 제품 관리 이사로서 이 헤드셋 개발 프로젝트는 HP와 긴밀하게 협력할 수 있어서 좋은 경험이었습니다. 저희 팀의 목표는 토비 VR4 시선추적 플랫폼을 통합하여 토비 시선추적 기술로 헤드셋을 강화하고 다른 새로운 센서와의 융합을 보장하는 것이었습니다.

이 글에서는 이 특별한 새 헤드셋에 대한 생각과 지금 이 헤드셋이 중요한 이유, 그리고 HP — Henry Wang(제품 관리자) 및 Lauren Domingo(소프트웨어 현장 엔지니어)와 함께 협업한 사람들의 생각과 경험을 공유합니다.

편견 없는 의견 생성

디지털 혁신과 운영 최적화(인더스트리 4.0)를 위한 필수 요소 중 하나는 의미 있는 실시간 데이터입니다. 데이터의 필요성을 충족하기 위해 거의 모든 사물에 센서( — )가 장착되어 수조 개의 편향되지 않은 데이터 포인트를 조용히 생성하는 신중한 장치가 있습니다. 차세대 VR 헤드셋에는 응용 분야 개발을 위한 새로운 입력을 생성하는 센서가 포함될 것이며, HP Reverb G2 Omnicept Edition이 이를 주도할 것입니다.

로렌과 헨리센서의 세계가 어떻게 진화하고 있다고 보십니까? HP 리버브 G2 옴니셉트 에디션은 새로운 표준을 제시하지만 헤드셋은 앞으로 어떻게 발전할까요?

유니티는 센서 인사이트가 VR에 가져다주는 이점을 믿습니다. 이러한 유형의 센서 기반 기능은 기업용 헤드셋에 기본으로 탑재될 것입니다. 예를 들어 시선추적은 동공 측정 및 동공 확장에 대한 데이터를 제공하고, PPG는 심박수를 제공합니다. 얼굴 카메라는 VR에서 처음 선보이는 기능입니다. 얼굴 카메라를 통해 얼굴의 아래 부분을 캡처할 수 있으며, 시선추적을 통한 시선 데이터와 함께 ISV가 사실적인 아바타를 개발하는 데 도움이 될 것입니다.

전문 기술 습득

생산성 최적화와 자동화로 인한 4차 산업혁명의 부작용 중 하나는 기술 요구사항의 지속적인 변화와 지속적인 재교육의 필요성입니다. A미국 메릴랜드 대학교에서 실시한 연구에서 실시한 연구에 따르면 가상화 교육이 기존의 컴퓨터 기반 학습보다 정보 유지율이 더 높다는 결론을 내렸습니다. 일부 VR 경험의 몰입감과 현실감이 학습을 흥미롭고 기억에 남게 만들기 때문에 이 결과에 공감할 수 있습니다. VR 몰입은 과제에 집중할 수 있게 해주고, 현실감 덕분에 새로운 개념을 실질적으로 이해하는 데 도움이 됩니다. 예를 들어, VR은 신체적 움직임과 동작 범위를 추가함으로써 새로운 작업에 필요한 손재주를 개발하는 데 도움이 될 수 있습니다.

수술 절차나 스트레스 상황 관리와 같은 전문 기술의 경우, VR로 훈련한 사람들이 기존 방식으로 교육받은 사람들보다 실수를 덜 하는 것으로 나타났습니다.

로렌과 헨리는 이 헤드셋의 개발을 위해 파악한 네 가지 핵심 영역 중 하나로 훈련을 꼽았습니다. 센서 데이터가 제공하는 피드백과 이것이 VR 훈련에 매력적인 이유에 대해 설명해 주시겠어요?

각 센서는 VR에 고유한 이점을 제공하지만, HP Reverb G2 Omnicept SDK를 사용하면 더 높은 수준에서 입력을 결합할 수 있으므로 인지 부하 출력을 얻을 수 있습니다. 인지 부하는 파일럿 훈련이나 가스 누출과 같은 비상 상황 대처 방법 학습과 같은 응용 분야에서 가장 잘 활용됩니다. 인지 부하를 사용하면 상황에 더 많은 컨텍스트를 추가하거나 사용자가 백업하여 더 간단한 것을 시도할 수 있도록 하는 등의 방식으로 훈련을 조정할 수 있습니다. 개발자에게 직원 교육이 성공적으로 이루어질 수 있도록 데이터를 제공하는 것이 동기 부여의 원동력 중 하나였습니다. 센서 피드백과 시선추적은 교육 성과를 측정하고, 필요한 지식을 습득했는지, 반응은 어떠한지 평가할 수 있는 데이터를 제공하여 교육 시간을 최대한 활용하고, 사람을 중심에 두어 생산성을 극대화합니다. 모든 사람에게 일률적으로 적용되지는 않습니다. 하지만 개인 맞춤형입니다.

사용자 반응 활용하기

센서 퓨전으로 다른 모든 헤드셋과 차별화되는 HP 리버브 G2 옴니셉트 에디션. 통합된 센서 데이터는 응용 분야 개발자가 사용자의 자연스러운 반응을 활용하여 가상/혼합/가상현실에 대한 일부 사람들의 장벽과 불안을 제거함으로써 VR 경험을 개인화할 수 있도록 지원합니다.

우리는 항상 깨닫지 못할 수도 있지만, 일반적으로 낯선 상황에서 새로운 정보를 처리하기 위해 자신의 능력을 넘어서는 일을 하게 됩니다. 연습을 통해 익숙해지면 인지 부하가 관리 가능한 수준으로 떨어집니다. VR은 현실적이고 안전한 환경( — )에서 반복하고 학습하며 오류를 최소화할 수 있는 통제된 연습 공간을 제공합니다.

로렌과 헨리이 헤드셋에 시선추적 기능을 포함하기로 결정한 이유에 대해 설명해 주시겠어요?

특히 기업 분야에서 시선추적이 경험의 맥락을 파악하는 데 필요한 기술이 될 수 있는 새로운 사용 사례가 급증하기 시작했습니다. 그리고 솔직히 고객들의 요청도 있었습니다. 지난 5월에 HP Reverb G2를 발표한 이후 가장 많이 받은 질문 중 하나가 시선추적 버전이 출시될 예정이냐는 것이었습니다. 이제 그 질문에 예라고 대답할 수 있게 되어 정말 기쁩니다!

XR — 디지털 협업의 촉매제

갑작스러운 재택 근무로의 전환은 코로나19의 경제적 영향을 완화하는 데 도움이 되었습니다. HP 리버브 H2 오민셉트 에디션의 출시 시기는 새로운 환경에서 협업하는 인간의 능력을 입증하는 증거입니다. 그리고 지난 몇 달 동안 가상 협업을 현대화하고 강화해야 할 필요성이 강조되었습니다. 추정치는 다양하지만 미국 일자리의 최대 40%가 재택근무가 될 수 있다고 합니다. 팬데믹 이후에는 약 20%–30%(팬데믹 이전 약 5%에서 증가)의 근로자가 재택근무를 계속할 것으로 보입니다.

이러한 변화는 XR이 얼굴 표정, 몸짓, 목소리 톤을 통합하는 고급 디지털 협업 툴을 제공할 수 있는 기회를 만들었습니다. 근육의 움직임과 시각적 신호를 해석하여 자연스러운 상호 작용을 위한 데이터로 강화된 HP Reverb H2 Omnicept Edition은 VR 협업을 새로운 궤도에 올려놓았습니다.

자동차 모델 등의 디자인을 함께 작업하는 협업 시나리오에서 여러분과 동료가 모두 같은 것을 보고 있다는 것을 알 수 있다면 훨씬 더 자연스러운 경험을 할 수 있습니다. 특히 몸짓과 눈맞춤에 의존하여 상황을 읽는 데 도움이 되지만, 지금까지는 VR에서 사람의 얼굴을 읽는 것이 불가능했습니다. 이제 유니티는 개발자들이 표정을 에뮬레이션하는 첫 걸음을 내딛을 수 있도록 지원하여, VR을 대면하지 않고 협업할 수 있는 최고의 방법으로 만들 수 있을 것으로 기대합니다.

편리한 개발

시선추적 및 기타 센서가 통신하고 편향되지 않은 원시 데이터를 생성하기 위해 엔지니어가 기존 기술을 수동으로 조합하여 해결 방법을 구현하는 것은 드문 일이 아닙니다. HP 리버브 G2 옴니셉트 에디션은 더 이상 이런 작업을 할 필요가 없다는 것을 의미합니다. 이 헤드셋을 사용하면 이러한 해결 방법 없이도 상용 장치로 인사이트를 얻을 수 있습니다.

Lauren과 Henry HP 리버브 G2 옴니셉트 에디션 헤드셋 기능을 활용하는 응용 분야 개발을 시작하는 것이 얼마나 쉬운지 알려주시겠습니까?

얼리 액세스 개발자들의 피드백에 따르면 플랫폼에서 데이터를 설정하고 다시 가져오는 데 약 20분이 걸리는 것으로 나타났습니다. 물론 개발자가 새로운 응용 분야를 만드는 데는 시간이 조금 더 걸릴 수 있습니다. 그래서 저희는 개발자들이 인지 부하로 무엇을 할 수 있는지 이해할 수 있도록 지식 기반, 블로그 게시물, 개발 포털을 마련했지만, 개발자들이 창의력을 발휘할 수 있기를 바랍니다. 개발자들이 새로운 헤드셋과 이 헤드셋이 제공하는 인사이트를 통해 무엇을 할 수 있을지 기대가 됩니다.

동적 포비티드 렌더링

현재 HP 리버브 G2 옴니셉트 에디션에서 포비에이션 렌더링을 위한 토비 스포트라이트 기술을 벤치마킹하고 있습니다. 초기 시험 결과 셰이딩 부하가 평균 66%¹에 육박하는 놀라운 결과가 나타났습니다. 이 정도의 절감 효과는 개발자에게 가장 필요한 부분의 시각적 선명도와 응용 분야 성능을 향상시킬 수 있는 기회를 제공합니다.

이 벤치마크는 포비티드 렌더링의 이점과 화면 해상도 상승 사이의 밀접한 연관성에 대한 당사의 주장을 뒷받침하는 근거이기도 합니다.

로렌과 헨리의 포비에이션 렌더링 기술에 대해 어떻게 생각하시나요?

PC 기반 VR은 여전히 모든 텍스처와 원하는 폴리곤 수로 가장 몰입감 있는 VR 경험을 제공하는 최고의 환경입니다. 이제 포비티드 렌더링을 통해 이러한 경험을 더욱 향상시킬 수 있습니다. 물론 시선추적과 토비 스포트라이트 기술이 그 원동력입니다. 이를 통해 사용자의 GPU에서 자료를 확보할 수 있고, 개발자는 이를 가장 중요한 곳에 적용할 수 있습니다. 유니티는 개발자가 포비티드 렌더링을 사용하도록 교육하는 데 도움이 되는 플러그인을 SDK에 포함할 예정입니다.

이 포스팅은 HP Reverb G2 Omnicept 에디션에 대한 리뷰는 아니지만 몇 가지 사실 없이는 완전하지 않다고 생각했습니다. 이 헤드셋은 형태만 보면 HP Reverb G2와 동일한 핵심 구성 요소와 동일한 울트라샤프 디스플레이 및 업계 최고의 Valve 렌즈를 사용합니다. 이 헤드셋의 차별점은 센서 융합 기능으로, 통합된 토비 VR4 시선추적 플랫폼의 원시 데이터와 PPG 및 얼굴 카메라 센서를 통합하여 인지 부하 분석을 제공합니다.

로렌과 헨리의 마지막 코멘트:

차세대 XR은 몰입감을 넘어 VR 경험에 더 많은 것을 추가하는 것입니다. 양방향 상호 작용, 적응형 경험, 기업에 대한 피드백 제공, 경험 중에 일어나는 일에 대한 인사이트 제공으로 나아가고 있습니다. 그리고 보안과 개인 정보 보호를 염두에 두고 이를 수행하는 방법에 대한 선례를 만들고 있습니다.

자세히 알아보기 토비 시선추적 과 HP 리버브 G2 옴니셉트 에디션.