시선추적 - 메타버스를 진정성 있게 만들기

몇 달 전, 저는 18개월 만에 처음으로 미국 여행을 다녀왔습니다. 방문 목적은 고객, 파트너, 동료들을 만나기 위해서였습니다. 어떤 사람들에게는 거의 2년 만에 처음으로 직접 대면하는 비즈니스 만남이기도 했습니다.

이 경험은 저 혼자만 느낀 것이 아니라 안도감과 열정이 뒤섞인 것이 분명합니다. 오랜만에 만난 IRL은 인간의 연결에 대한 욕구를 증명하는 것처럼 느껴졌습니다. 그리고 팬데믹 기간 동안 일부 비즈니스가 계속 운영할 수 있게 해준 기술과 기술 업계가 직관성과 진정한 인간 연결성을 바탕으로 이러한 솔루션을 계속 발전시키는 것이 얼마나 중요한지 생각하게 되었습니다.

이 포스팅을 위해 동료인 매기와 저는 메타버스인 XR의 현황, 메타버스가 모든 사람에게 어떤 의미가 있는지, 그리고 시선추적이 메타버스에 어떤 수준의 진정성을 가져올 수 있는지에 대해 논의했습니다.

최근 적어도 일부 기술 업계에서는 메타버스에 대해 많은 과대 광고가 있었습니다.

요한, 첫 번째 질문은 메타버스가 무엇이라고 생각하나요? 어떻게 생각하시나요?

메타버스라는 용어가 꼭 필요한 것은 아니지만, 메타버스는 이미 오래전부터 존재해 왔다고 생각합니다. 사람들이 진화하는 기술들을 혁신적으로 연결해 왔기 때문에 가능해진 것이죠. 메타버스는 사람들이 함께 모여 일하고, 놀고, 협업하고, 심지어 자신 또는 아바타가 되어 생계를 유지할 수 있는 혼합 현실(MR) 공간입니다. 메타버스는 누구나 어디서나 모든 디바이스를 통해 참여할 수 있는 공평한 경쟁의 장입니다. 기술 플랫폼과 메타버스 솔루션은 시간과 공간의 문제를 해결하여 MR에서 함께하는 것이 현실감 있고 일관된 느낌을 줄 수 있도록 합니다.

메타버스가 왜 지금 일어나고 있다고 생각하시나요? 혼합 현실이 비전에 가까웠던 초기에는 왜 그렇지 않았을까요?

물론 이러한 과대 광고의 대부분은 메타(이전의 Facebook), Microsoft, NVIDIA와 같은 대기업이 메타버스를 사용하여 다양한 기술의 융합을 설명하고, 더 중요한 것은 세부 사항에 묻히지 않고 소비자에게 이야기를 전달하기 위한 것입니다. 클라우드 서비스, 광역 네트워크, 모바일 네트워킹은 사업자를 위한 지속 가능한 비즈니스 모델로 복잡하고 대역폭을 많이 사용하는 서비스를 지원할 수 있을 정도로 자리를 잡았습니다. 디바이스가 성숙해지면서 몰입감 넘치는 경험을 제공한다는 약속을 지키기 시작했고, 폼 팩터의 감소와 가격 인하( — )로 인해 채택이 더욱 촉진되어 콘텐츠에 대한 새로운 수요가 창출되고 개발자에게 확장된 시장을 제공하고 있습니다. 그리고 이 모든 점들을 하나로 합치면 메타버스와 메타버스가 약속하는 바를 얻을 수 있습니다.

그렇다면 메타버스가 우리와 토비와 무슨 관련이 있을까요? 왜 우리가 오늘 이 자리에 앉아 이 얘기를 하고 있는 걸까요?

메타버스가 진화함에 따라 몰입감으로 인해 VR 및 AR 웨어러블의 인기는 더욱 높아질 것입니다. 공간 음향은 소리를 사실적으로 시뮬레이션하여 사람들이 MR 공간에서 청각적 신호에 의존하여 상호 작용할 수 있도록 합니다. 하지만 질문에 답하자면, Tobii Connect는 커뮤니케이션의 핵심 요소인 사실적인 눈맞춤과 인간의 주의 집중 — 에 대한 이해를 제공하기 때문에 메타버스에서는 불가능한 진정한 연결을 가능하게 할 것입니다. 아이들은 아주 어릴 때부터 시각적 신호를 따르는 법을 배우며, 우리 뇌가 처리하는 정보의 약 80%는 시각적 정보입니다. 따라서 상대의 눈을 바라보거나 입술의 움직임을 관찰할 때와 머리 위를 응시할 때 의도를 해석하는 데는 엄청난 차이가 있습니다. 따라서 메타버스에서 제대로 된 커뮤니케이션을 하려면 디바이스에 시선추적 기능이 탑재된 경우에만 가능합니다.

그리고 컨트롤러도 있습니다. 키보드나 마우스처럼 직관적인 것은 아니지만, 우리는 이러한 입력 방식을 시스템에 정보를 입력하는 수단으로 받아들이게 되었습니다. 하지만 진정한 메타버스를 경험하려면 특히 AR 환경에서는 손이나 컨트롤러를 어색한 방식으로 흔들면 안 됩니다 —. 실제 생활에서 우리는 제스처, 음성, 눈맞춤으로 의사를 표현합니다. 메타버스에서도 마찬가지입니다. 시선, 머리 움직임, 얼굴의 랜드마크를 포착하는 시선추적을 통해 빠른 인증은 물론 머리 자세와 시각적 단서를 모두 활용하는 직관적인 커뮤니케이션이 가능해질 것입니다. 또 다른 직관적인 입력 방식을 제공하는 글러브리스 핸드 트래킹도 새롭게 등장할 가능성이 높습니다. 시선추적은 포인팅과 복잡한 제스처를 대체하는 간단하고 직관적인 제스처의 사용을 지원할 것입니다(추운 기후의 경우 장갑을 끼고 스와이프할 수도 있음).

증강현실 기기를 통해 메타버스에 들어오는 사람들에게 시선추적은 추가 데이터를 제공하기 때문에 매우 중요합니다. 시선추적 기술이 제공하는 정보는 개발자가 가상 객체를 실제 세계와 매끄럽게 연결하는 데 도움이 됩니다. 따라서 시선추적을 활용하면시차시차를 줄여 현실 세계와 가상 세계 사이의 시차를 줄여 사용자 경험을 더욱 실감나고 일관성 있게 만들어줍니다. 이 기술은 또한 다초점 디스플레이와 자동 숙박 시스템을 개발하는 데 필수적인 기술입니다.

XR 디바이스는 다른 공간에 있는 듯한 몰입감을 제공하고 실제로 그 공간에 참여하는 느낌을 주기 때문에 메타버스의 큰 부분을 차지할 것입니다. 그렇다면 편안함이 왜 그렇게 중요한 문제일까요?

사무실 근무자들은 여러 대의 모니터와 기기에 익숙해져 필요한 작업과 장소에 가장 적합한 솔루션을 선택합니다. 지속 가능한 업무 환경을 위해 인체공학이 필수적인 것과 마찬가지로 XR에서도 편안함은 매우 중요합니다. 우리의 시선추적 기술이 포함된 3세대 언테더 헤드셋을 출시한 파트너인 Pico가 편안함이라는 요소를 위해 끊임없이 노력해 온 과정을 잘 알고 계실 겁니다. 사람들이 하루 종일 XR 기기를 사용하는 데 있어 편안함이 매우 중요하다는 것을 알고 있기 때문에 상당한 투자를 했습니다.

토비 시선추적을 사용하면 동공 간 거리 측정을 활용하여 헤드셋이 사용자에 따라 자동으로 조정되므로 사용자 경험을 방해하지 않으면서도 편안함을 향상시킬 수 있습니다.

그리고 고해상도 그래픽으로 해결할 수 있는 멀미 문제도 있습니다. 따라서 분할 및 온디바이스 프로세싱 아키텍처에서 XR 기기의 성능을 유지하려면 동적 포비에이션 렌더링(DFR)과 같은 기술이 필수적입니다. 올해 엔비디아는 토비 스포트라이트 기술을 활용한 가변 속도 슈퍼샘플링의 두 번째 버전인 VRSS 2를 출시했습니다. 두 기술이 협력하여 최소한의 지연 시간으로 시선 정보를 NVIDIA 드라이버에 제공하므로 개발자는 각 디바이스에 대한 추가 코딩 없이도 DFR을 활용하는 응용 분야를 개발할 수 있습니다. 그 결과 안정적이고 높은 프레임 속도를 구현하여 일부 사람들이 VR에서 경험하는 어지러움의 문턱을 낮출 수 있습니다.

하드웨어 관점에서 새로운 기술 트렌드는 어떤가요? 그리고 토비는 통합 기능 플랫폼에 적응하기 위해 무엇을 하고 있을까요?

이미지 품질과 기기 무게도 웨어러블 착용감에 영향을 미치기 때문에 접이식 광학(XR에서는 팬케이크 렌즈라고도 함)의 개발과 채택이 증가하고 있는데, 이는 접이식 광학의 폼 팩터와 이미지 품질이 기존의 프레넬 렌즈 디자인보다 더 가볍고 부피가 적은 헤드셋을 만들어 내기 때문입니다.

제조업체가 상용 디바이스용 팬케이크로 전환하는 것을 지원하기 위해 토비 XR은 2021년 R&D 노력의 대부분을 이 새로운 아키텍처에 시선추적 기능을 제공하는 통합 플랫폼을 개발하는 데 투자했습니다. 저희는 헤드셋을 변경하지 않고도 통합 기능을 사용할 수 있고 자료 소비를 최소화하는 컴팩트한 디자인에 중점을 두었습니다. 현재 몇 가지 구현이 개발 중이며 출시되면 더 자세히 설명해드릴 수 있기를 기대합니다.

또 다른 주요 하드웨어 발전은 상용 헤드셋에 시선추적 기능이 채택된 것입니다. 작년(2021년)에는 시선추적 기능이 기본적으로 탑재된 두 가지 주요 디바이스( — )가 출시되었는데, 이미 언급한 바 있는 Pico Neo 3 Pro Eye와 HP Reverb G2 Omnicept Edition이 바로 그것입니다. Pico의 성공은 독립형 디바이스에 대한 수요와 HP의 추가 센서에 대한 필요성을 보여줍니다. 그리고 메타버스의 모든 잠재력을 소비자에게 제공할 Pimax와의 파트너십도 있습니다. 토비의 관점에서 볼 때, 우리의 기술이 누구나, 어디서나, 모든 디바이스 원칙에 부합하도록 하는 설계 접근 방식은 소비자 디바이스에 시선추적을 내장하고자 하는 제조업체에게 중요한 차별화 요소라고 할 수 있습니다.

공지사항 작성자Meta및소니 플레이스테이션의 발표에 따르면 차세대 소비자 헤드셋에 시선추적 기능이 탑재될 예정이며, 곧 출시될 것으로 예상됩니다.

소비자 XR 디바이스에 시선추적 기술을 적용할 때 가장 큰 과제는 무엇이라고 생각하시나요?

이제 방금 말씀드린 누구나, 어디서나, 모든 디바이스 원칙(세 가지 E)에 부합하는 시스템에 대해 좀 더 자세히 살펴보겠습니다. 아시다시피, 통제된 환경에서 작동하는 시선추적 시스템을 개발하는 것은 비교적 쉽지만 세 가지 E를 충족하는 시스템을 만드는 것은 쉽지 않기 때문입니다. 저희는 20년 넘게 연구를 진행하며 다양한 눈 모양, 색상, 망막 반사율, 시력 교정 등을 충족하는 솔루션 — 을 제공할 수 있는 역량을 확보해 왔습니다. 그러나 소비자 환경에서는 단순히 95%의 인구 커버리지에 도달하는 것이 아니라 대규모 생산에서 반복 가능한 견고한 솔루션을 제공하는 것이 중요합니다. 유니티가 이를 달성한 방법에 대해 자세히 알아보려면 다음 게시물에서 범용 기술 구축의 중요성에 대한 Andreas의 포스팅을 확인해 보세요.XR을 위한 시선추적 이해하기.

메타버스에 가장 먼저 도입될 시선추적 응용 분야는 무엇이라고 생각하시나요?

헬스케어와 웰빙, 협업, 게임, 소셜, 교육, 시뮬레이션 기반 훈련 등 일반적인 분야가 후보로 거론되고 있습니다. 하지만 엔터프라이즈 부문에서는 헬스케어와 웰빙이 가장 선두를 달리고 있다고 말하고 싶습니다. 이러한 종류의 고급 응용 분야에서 필요로 하는 데이터 기록, 구성 및 인간 행동 분석을 위한 분석 툴킷인 Tobii Ocumen( — )에 대한 관심이 2021년에 증가했기 때문에 이 말을 하는 것입니다.

SyncThink의 Scott Anderson을 만나서확장성의 열쇠를 찾기 위해완벽한 하드웨어가 나오기를 기다리는 응용 분야에 대해 이야기했던 것을 기억하시나요? 적절한 하드웨어와 시선추적 신호를 기다리는 이런 종류의 응용 분야가 더 많이 등장할 것으로 예상됩니다. 그리고 저희의 파트너인 REACT Neuro와 Apeiron Life는 수십 년의 삶을 통해수십 년 동안의 인지 성능. 마틴 박사가 지적했듯이 웰빙은 더 이상 신체 활동과 올바른 식습관 유지에만 국한되지 않으며, 인지 기능 저하를 예방하는 것이기도 합니다.

소비자 측면에서는 현재의 관심 수준과 플랫폼의 발전 양상을 고려할 때 소셜 및 게임 응용 분야에서 하키 스틱의 성장이 두드러질 것입니다. 이 분야 역시 소비자들이 메타버스를 가장 많이 활용할 수 있는 분야라고 생각합니다. 토비의 경우 헤드셋 제조업체, 개발자, 콘텐츠 크리에이터와 긴밀히 협력하여 프레즌스, 사실적인 아바타, 직관적인 인터페이스, 인증용 생체인식 등의 기능을 메타버스에 도입할 계획입니다.

마무리하기 전에 요한, 표준과 OpenXR의 필요성에 대해 질문하고 싶습니다.

크로스 플랫폼 민첩성을 촉진하는 가장 효과적인 방법 중 하나는 개방형 표준을 사용하는 것으로, 이는 벤더 종속을 방지하고 디바이스 적응에 많은 시간이 소요되는 것을 방지하는 데 도움이 되기 때문입니다. 또한 대기업과 틈새 사업자가 협력할 수 있게 해줍니다. 아시다시피 OpenXR은 2020년에 표준에 시선추적을 위한 확장 기능을 발표했지만, 올해 기대할 수 있는 것은 상용 헤드셋과 Microsoft Windows MR 플랫폼과 같은 지원 솔루션에서 표준을 구현하는 것입니다.

그렇다면 요한, 2022년에는 어떤 변화가 있을까요? 토비는 메타버스 사용자 경험에 어떻게 가치를 더할까요?

모든 디바이스에서 시선추적이 가능하려면 누구나, 어디서나, 모든 디바이스 원칙에 부합하는 저희와 같은 통합 기술이 필요합니다. 시뮬레이션 환경을 위한 워크호스와 함께 디바이스 유형은 계속 다양해질 것이지만, 주요 트렌드는 무선의 가벼운 헤드셋입니다. 개발자에게 메타버스는 스토리텔링과 새로운 응용 분야를 위한 견고한 플랫폼을 제공합니다. 초기 프로슈머 사례를 볼 수 있겠지만, 대부분의 새로운 솔루션과 마찬가지로 초기 경험은 다소 파편화될 것입니다. 기업이 조직의 경계를 허물고 시간과 공간의 제약으로 인한 사일로를 없애는 데 도움이 되는 협업 응용 분야가 많이 등장할 것입니다. 이미 VirtualRetail.io가 이에 대한 좋은 예라고 생각합니다.

베타 단계를 지나 정식 출시에 돌입한 메타의 지평에 대한 소비자들의 반응을 지켜보는 것은 흥미로운 일이 될 것입니다. 아직은 평등한 경쟁의 장에 도달하지 못했지만, 시선추적 기능이 강화된 디바이스와 실제 아바타의 증가, 사실적인 눈맞춤, 사용하기 쉬운 인터페이스, 향상된 게임 플레이 등을 볼 수 있을 것입니다.

훌륭한 요약입니다, 요한. 고마워요.

고마워요, 매기. 직접 만나 뵙게 되어 반가웠지만 이제 다시 가상으로 만나게 되었습니다.