XR의 시선추적 - 2022년 마무리와 곧 다가올 혁신 기술

시작과 끝에는 특별한 무언가가 있습니다. 다시 시작하고, 새로운 목표를 향해 노력하고, 새로운 기능을 개발하고, 새로운 문제를 해결하는 데 도움이 됩니다. 2022년은 예상치 못한 도전으로 가득했지만, 팬데믹은 인간이 불안정성과 불확실성에 직면했을 때 창의성이 번성하는 경향이 있다는 것을 증명했습니다 —.

토비의 XR 부문을 책임지는 것은 제가 최근에 맡은 도전 과제이며, 시선추적 관점에서 볼 때 이보다 더 좋은 시기에 이 역할을 맡을 수 없었다고 말할 수 있어 기쁩니다. 유니티는 이제 막 대중 시장 소비자용 VR에 첫 진출한다고 발표했습니다. 그리고 유니티의 XR 플랫폼은 최첨단 광학 설계를 지원하도록 확장되어 디바이스 기능과 사용자 경험의 수준을 높이기 위한 새로운 데이터 스트림을 제공하고 있습니다. 저의 첫 번째 임무 중 하나는 2022년 XR 결산을 발표하고 앞으로 몇 달 동안 기대할 수 있는 혁신을 강조하는 것입니다. 기대해주세요!

대중 시장 소비자 VR 진출

토비는 소니 인터랙티브 엔터테인먼트가 PlayStation VR2의 시선추적 기술 공급업체로 선정했습니다, 발표 (2022년 7월).

지난 몇 년간 고객과의 협업을 통해 시선추적 통합 기능에 대한 총체적인 접근 방식을 구축할 수 있었습니다. 또한 최고의 가치를 지닌 부품을 사용하여 다양한 광학 설계를 지원하는 서브시스템을 개발하여 강력한 컴퓨팅 성능과 매력적인 미학을 갖춘 시선추적 솔루션을 제공할 수 있었습니다.

우리가 올바른 방향으로 가고 있다는 일종의 증거는 제가 고객사를 방문했을 때 나왔습니다. 프로토타입 헤드셋의 디자인과 미학에 대해 논의하던 중 엔지니어 중 한 명이 시선추적 구성 요소( — )를 지적해달라고 요청했습니다. XR 업계의 플레이어들과의 협업이 우리 기술의 신중함을 얼마나 잘 형성했는지 알 수 있는 대목입니다.

AR 및 VR을 위해 구축된 유니티의 차세대 XR 플랫폼 —

거대 기술 기업, 헤드셋 디자이너 및 개발자와의 협업을 통해 변화하는 헤드셋 및 생태계 요구사항에 맞춰 솔루션을 조정할 수 있었습니다. 파트너와의 협력을 통해 얻은 전문 지식을 차세대 XR 플랫폼( — )의 설계에 활용하여 지연 시간을 줄이고 전력 소비를 최소화하여 자료를 최대한 활용할 수 있도록 알고리즘과 구성 요소 드라이버를 최적화하기 위해 노력했습니다. 하지만 앞서 언급했듯이 웨어러블은 편안하고 매력적이어야 하기 때문에 미학적인 측면이 많이 강조되고 있습니다. 이를 위해 저희는 사용자 경험을 방해하지 않는 방식으로 배치된 신중하고 가벼운 구성 요소에서 실행되도록 디자인에 약간의 노력을 기울였습니다.

근거리(팬케이크) 광학 기술을 도입하려는 OEM을 위해 유니티의 차세대 XR 플랫폼은 VR 헤드셋과 AR 안경을 지원합니다. 표준 구성 요소에서 실행되도록 플랫폼을 제작했지만, 유니티가 제공하는 필수 전문 지식은 최적의 배치, 침습적인 아키텍처 변경을 피하는 방법, 최종 장치 설계가 대량 생산에 적합하도록 보장하는 방법이라고 생각합니다.

디바이스 최적화를 위한 기능에 투자

올해 저희는 소프트웨어 기반 IPD, 포지셔닝 지원, 미끄러짐 보정 등 디바이스 최적화 기능에 지속적으로 투자해 왔습니다. 소프트웨어를 사용하여 IPD를 설정하면 사람이 거울과 자를 사용하는 서투른 측정 기술을 사용할 필요가 없을 뿐만 아니라 물리적 IPD 조정 휠이 필요 없고 처음부터 이상적인 정렬을 통해 정적 왜곡 알고리즘을 개선할 수 있습니다. 시선추적은 사용자가 렌즈의 스위트 스팟에 맞춰 정렬할 수 있도록 하는 자동 IPD 조정 솔루션에 필요한 데이터를 제공하는 완벽한 솔루션입니다. 또한 사용자가 헤드셋을 수직 및 수평으로 — — 올바르게 배치할 수 있도록 도와주는 포지셔닝 가이드라는 솔루션과 미끄러짐 보정 기능을 개발하여 사용자가 광학 스윗 스팟에 위치하여 디스플레이를 선명하게 볼 수 있도록 지원합니다.

곧 출시될 제품

다이내믹 포비티드 렌더링이 헤드셋에서 자료를 압축하는 방식은 시선추적이 최신 헤드셋의 필수 요소가 된 주요 이유 중 하나였습니다. 대역폭 요구 사항을 낮추는 데 도움이 되는 자매 기술인 — 동적 포비티드 전송( — )은 ISV 커뮤니티가 시선추적과 이를 활용하여 오프 디바이스 컴퓨팅을 구현하는 방법을 더 깊이 파고들면서 주목받기 시작했습니다.

렌즈 왜곡으로 인한 흐릿한 이미지, 고스트 현상, 눈부심은 사용자에게 방해가 되고 일부 사람들에게 메스꺼움을 유발할 수 있기 때문에 문제가 됩니다. 방금 말씀드린 '스위트 스팟' 솔루션 외에도 최근 사용자의 동공이 항상 스위트 스팟에 위치하도록 하여 XR 경험을 개선하기 위한 새로운 아이디어를 연구하고 있습니다. 이 개념은 정적 보정을 동적 솔루션으로 대체하여 사용자가 눈을 움직일 때 선명한 이미지를 유지하고 원치 않는 효과를 제거하는 방식으로 작동합니다. 이러한 솔루션을 구현하기 위해 유니티는 실시간으로 3D 동공 위치를 전달하는 새로운 시선추적 신호를 제공하기 위해 노력해 왔습니다. 2023년에 발표될 백서를 기대해 주세요.

시선추적이 XR 기기의 필수 기능이 되면서 시선 방향에 따라 초점 거리를 동적으로 조정하는 가변 초점 디스플레이를 탑재한 기기를 볼 수 있을 것으로 예상합니다. 이러한 차세대 디스플레이 시스템은 가상 물체와의 직관적인 상호작용을 지원하고, 시선과 눈의 조절 사이의 신호 불일치로 인한 눈의 피로를 줄여 시선-조절 충돌 문제를 해결하는 데 도움이 될 것입니다.

사교와 스포츠를 위한 새로운 가능성

시선추적과 같은 센서 기술이 사용자를 실시간으로 모방하는 실제와 같은 표정과 눈동자 움직임으로 아바타에 생동감을 불어넣는다는 것은 이미 잘 알려진 사실입니다. 저는 특히 LIV와 레디 플레이어 미에서 진행한 실험을 좋아합니다: Nx 게임에서 시선추적을 통해 플레이어의 아바타가 어떻게 표현력을 발휘하는지 보여줬기 때문입니다. 제 동료 중 한 명이 에픽의 인기 아바타 제작 툴인 메타휴먼에서 시선추적을 활성화하는 데 시간을 보냈습니다. 이에 대해 자세히 알아보고 싶으시다면 그의 포스팅을 추천해 드립니다. 메타휴먼을 사용한 시선 표현 실험.

예를 들어 하키 헬멧이나 골프 모자와 같은 스포츠 웨어러블에 시선추적을 통합하면 팬, 코치, 트레이너, 선수에게 제공할 수 있는 독특한 인사이트를 얻을 수 있어 스포츠 세계는 시선추적을 위한 이상적인 응용 분야임을 스스로 드러냈습니다. 이러한 종류의 솔루션은 스트리밍 서비스에 새로운 기회를 창출합니다. 예를 들어, 플레이어의 관점( — )에서 단순히 보이는 것뿐만 아니라 눈앞의 장면을 어떻게 스캔하는지에 대한 게임 액션을 전달할 수 있습니다. 또한 경기력 분석을 위해 코치와 선수에게 게임 플레이와 전략적 순간에 선수들이 집중하는 부분에 대한 귀중한 정보를 제공합니다.

업계 혁신 지원 — 교육 및 헬스케어

미국의 조종사 부족 현상은 2025년까지 최대 3만 명의 조종사 부족 사태에 이를 수 있습니다. 팬데믹 기간 동안 고위급 직원에게 제공되는 조기 퇴직 제도, 민간 항공사로 이직하는 군인 조종사의 감소, 훈련 방법이 수요를 따라가지 못하기 때문에 조종사 수가 감소하고 있습니다. 이 마지막 문제를 해결하기 위해 유니티의 파트너인 VTR은 훈련 결과를 개선하고 비용을 절감하도록 설계된 VR 기반 파일럿 훈련 솔루션을 개발했습니다. 기존의 시뮬레이터 시간은 고가의 상품으로 수요가 매우 높습니다. VTR의 솔루션은 파일럿이 매뉴얼과 종이 기반 모델을 통해 학습하는 기존의 방식을 대체하여 시뮬레이터 시간을 최대한 효율적으로 활용할 수 있도록 지원합니다.

시선추적은 인간에 대한 인사이트를 제공하는 디지털 도구이므로 수동 관찰에 기반한 기존 치료 솔루션을 디지털 영역으로 전환하는 데 도움이 됩니다. 하지만 VR을 활용한 디지털 전환은 이동성이라는 추가적인 보너스를 가져와 매우 유연하고 저렴한 반자동화 솔루션이 탄생하기도 합니다. 올해 유니티는 VR 기반 안과 치료 솔루션을 전문으로 하는 선도적인 메드테크 기업인 올리스와 협업하여 그 결실을 맺었습니다. 올리예스의 CEO인 알베르토 곤잘레스는 시력 관리 평가를 VR로 전환함으로써 환자 처리량이 증가하고 측정이 객관적이고 정확해졌다고 설명합니다. 그가 언급하는 가장 가치 있는 측면은 VR이 필요한 수고를 덜어주어 환자와 의료진이 검사를 수행하는 데 도움을 준다는 점입니다. 장기적으로는 솔루션을 가정으로 옮기는 것을 목표로 하고 있습니다. 가까운 병원을 계속 방문하는 것보다 집에 앉아 VR 헤드셋을 착용하고 시력 검사를 하는 것이 편리함은 물론 훨씬 더 재미있을 것이라고 상상합니다.

전체 XR 생태계의 끊임없는 노력으로 기기, 콘텐츠, 응용 분야는 빠르게 성장하여 성숙 단계에 접어들었습니다. 그리고 2023년에도 달라질 것이라고 믿을 이유가 없습니다. Facebook은 다음을 통해 개인정보 보호와 안전에 지속적으로 기여할 것입니다.데이터 투명성 정책와 OpenXR 표준, 그리고 메타버스의 전반적인 구축을 통해 개인정보 보호와 안전에 지속적으로 기여할 것입니다.

디바이스 최적화를 OEM 쇼핑 목록의 최우선 순위로 두고, 토비가 뒤틀림/왜곡 없이 낮은 컴퓨팅을 보장하고 최상의 그래픽 경험을 제공하는 솔루션을 지속적으로 개발하도록 하는 것이 저의 임무입니다. 대형 업체들이 뛰어난 화질과 뛰어난 미학을 갖춘 더 가볍고 얇은 헤드셋에 집중하고 있는 가운데, 가장 바람직한 XR 콘셉트 중 일부는 시선추적이 정확해야 작동한다는 한 가지 생각을 남기고 싶습니다.