다이내믹 포비티드 렌더링으로 사실적인 가상 비전 구현

토비 스포트라이트 기술

지난 20년 동안 Tobii는 다양한 디바이스와 사용 사례에 시선추적 및 사용자 감지 기술을 제공하는 세계 최고의 시선추적 회사로 성장했습니다. 오늘날 토비의 시선추적 기술은 노트북 컴퓨터, VR 헤드셋, AR 안경, 혁신적인 헬스케어 솔루션, 보조 기기 및 더 많은 응용 분야와 제품에서 찾아볼 수 있습니다. 최근 토비는 포비에이션( — )과 관련된 일련의 기술 및 기능, 즉 토비 스포트라이트 기술을 연구하고 있습니다. 이 블로그에서는 최근 토비가 수행한 벤치마크를 중심으로 포비에이션을 통해 실현된 현재의 이점을 살펴보고자 합니다.

Foveation

배경 설명부터 시작하겠습니다. 포베이션은 인간의 시각 작동 방식을 모방한 이미지 렌더링의 계산 프로세스입니다. 동적 포비에이션 렌더링(DFR)은 시선추적을 사용하여 이미지에서 고해상도가 필요한 영역( — 피사체가 바라보고 있는 동공 영역)에 처리 및 대역폭 사용을 집중하고( — ) 주변으로 갈수록 해상도를 낮춥니다. 이러한 방식으로 이미지를 최적화하면 사람의 시각을 시뮬레이션하는 동시에 대역폭 및 처리(— ) 수요를 줄여 지연 시간을 줄이고 응답 시간을 개선할 수 있습니다.

토비 스포트라이트 기술은 포비에이션에 특화된 고급 시선추적 솔루션입니다. 사용자의 시선을 실시간으로 정확하고 짧은 지연 시간으로 추적하여 사실적인 사람의 시야를 시뮬레이션하는 뛰어난 동적 포비에이션을 구현합니다. 토비 스포트라이트 기술은 GPU의 부담을 완화하고 전반적인 렌더링 속도를 개선함으로써 VR 응용 분야의 전반적인 경험을 향상시킵니다:

• 이미지 품질 향상 — GPU 절약으로 동공 영역에서 고해상도 이미지를 실시간으로 렌더링할 수 있습니다. DFR은 셰이딩 부하를 크게 줄일 수 있으므로 고해상도 헤드셋의 경우 DFR 이득이 더 큽니다.

• 더 높고 부드러운 프레임 속도 — 프레임 속도는 VR 응용 분야의 성능과 현실감을 정의합니다. 프레임 속도가 떨어지면(일반적으로 복잡한 셰이더 렌더링의 경우) 사용자에게 눈에 띄는 흔들림이 발생하고 멀미나 메스꺼움까지 유발할 수 있습니다. DFR은 더 부드러운 프레임 속도를 유지하는 데 도움이 되며, 가장 복잡한 셰이딩이 있는 장면의 가장 무거운 부분에서 가장 큰 절감 효과를 볼 수 있습니다.

• 향상된 그래픽 — VR 응용 분야는 일반 PC 게임에 비해 렌더링에 있어 매우 까다롭습니다. 동일한 수준의 성능을 유지하기 위해 개발자는 전통적으로 응용 분야 자체를 최적화해 왔으며, 이로 인해 씬의 품질이 저하되거나 일부 실시간 효과가 비활성화될 수 있습니다. DFR을 사용하면 GPU 부하를 늘리지 않고도 더 복잡하고 사실적인 셰이딩을 구현할 수 있으므로 개발자는 성능에 영향을 주지 않고도 응용 분야에 더 높은 품질의 설정을 포함할 수 있습니다.

• 전력 절약 — GPU 부하 감소는 노트북, 헤드셋 및 기타 배터리 구동 장치의 잠재적인 전력 절약도 가능하게 합니다.

NVIDIA 가변 비율 셰이딩(VRS)이 포함된 DFR

오늘날 많은 개발자는 셰이딩 밀도와 진정한 슈퍼 샘플링을 더욱 세밀하게 제어할 수 있는 렌더링 기술인 NVIDIA VRS — 와 포비티드 렌더링을 연관시킵니다. VRS를 사용하면 개발자는 시각적 품질을 개선하거나, GPU 비용을 줄이거나, 또는 두 가지를 적절히 조화시킬 수 있습니다.

VRS는 이미지의 다양한 영역에 다양한 양의 처리 능력을 적용합니다. 이 기술은 단일 픽셀 셰이더 연산으로 처리되는 픽셀 수를 변경하는 방식으로 작동합니다. 이제 이러한 연산을 픽셀 블록에 적용할 수 있으므로 응용 분야에서 화면의 여러 영역에서 셰이딩 품질을 효과적으로 변경할 수 있습니다.

효과를 극대화하기 위해 VRS를 시선추적과 결합하여 사용자의 시선에 최적의 렌더링 품질을 맞출 수도 있습니다. 개발자는 NVIDIA VRS 커스텀 패턴을 사용하여 동공 영역에 따라 셰이딩 밀도를 최적화할 수 있습니다. 동공 영역이 작을수록 GPU 절약으로 인한 이득이 커집니다. 동공 영역 크기는 다음에 의해 결정됩니다:

• 디스플레이의 유효 시야각 — 포비에이션의 각도 범위는 시야각에 따라 달라지지 않습니다. 즉, 시야각이 증가함에 따라 고품질이어야 하는 디스플레이의 비율은 감소합니다.

• 포비에이션 렌더링 기법으로 생성된 이미지 아티팩트.

• 추적된 포비에이션의 프레젠테이션 지연 시간.

• 시선추적 시스템의 정확성 및 견고성.

• 아티팩트에 대한 사용자 민감도.

VRS 포베이션이 포함된 DFR은 지연 시간이 짧은 시선추적 신호와 결합하여 사용자에게 가장 최적화된 맞춤형 패턴을 제공합니다. 이를 통해 음영률을 크게 줄일 수 있어 응용 분야의 전반적인 성능이 향상되고 동공 영역에서 슈퍼 샘플링을 통해 이미지 품질을 향상시킬 수 있으므로 응용 분야에서 VRS를 활성화하는 이점을 극대화할 수 있습니다.

사용자에 맞게 조정하기

모든 시선추적 신호가 동일하게 생성되는 것은 아닙니다. 지연 시간, 주파수, 정확도, 노이즈는 모두 동공 영역 크기에 영향을 미치는 명백한 요인입니다. 신호 신뢰성, 모집단 커버리지, 각도 정확도 감쇠, 시선추적 신호 아티팩트의 영향은 덜 분명할 수 있습니다.

또한 시선 추적 능력은 인구에 따라 다릅니다. 어떤 사람들은 추적하기 쉬운 반면, 어떤 사람들은 전혀 추적할 수 없습니다. 평소에는 쉽게 추적할 수 있는 사용자도 피로, 탈수, 질병으로 인해 추적 능력이 떨어질 수 있습니다. 효과적인 포비에이션은 이러한 가변성을 고려해야 합니다.

토비는 비전문 신호에 존재할 수 있는 일부 손상된 신호 아티팩트를 줄이거나 제거하는 특수 포베이션 렌더링 추적 신호를 개발하는 등 포베이션 관련 신호 연구에 상당한 투자를 해왔습니다.

벤치마크

최근 토비는 고정 포비티드 렌더링과 동적 포비티드 렌더링의 성능 이점을 비교하는 다양한 벤치마크를 실행했습니다. 고정 포비티드 렌더링(FFR)은 전방 주시 방향을 가정하고 주로 렌즈 왜곡 영역과 같이 헤드셋에서 명확하게 보이지 않는 디스플레이 영역의 렌더링 비용을 제한하는 기술입니다. 반면에 DFR은 사용자가 보고 있는 방향에 따라 동공 영역을 이동하여 동공 영역 크기를 더욱 줄입니다.

그 결과(포비에이션이 없는 경우와 비교했을 때)는 일관되게 나타납니다:

• 장면의 다양한 부분에서 6dof를 고정(각 사전 설정에 대해 일정한 프레임을 유지)한 상태로 테스트를 실행하면 GPU 셰이딩 부하가 평균 약 57% 감소합니다. 씬의 픽셀 집약적인 부분에서 감소율은 더 높습니다.

• DFR은 GPU 부하를 획기적으로 줄여 향후 헤드셋에서 8K 이상의 해상도를 구현할 수 있게 해줍니다.

• 개발자는 DFR을 통해 고성능을 유지하면서 그래픽 개선을 위해 복잡한 셰이더와 효과를 추가할 수 있습니다.

Vive Pro Eye에서 테스트를 실행하는 동안 가변 비율 셰이딩을 위한 포비에이션 파라미터를 최적화하여 DFR에 대해 16%의 셰이딩 비율을 달성했습니다. 고정의 경우 셰이딩 밀도를 40%로 구성했는데, 이는 Vive Pro Eye 헤드셋 파라미터에 가장 적합하며 활성화 시 주변부에서 사용자에게 눈에 띄지 않습니다. 화면은 중심부(사용자가 보고 있는 부분), 중간(중심부에서 주변부로 전환되는 부분), 주변부(최대 게인을 위해 최적화된 영역)로 나뉩니다. 아래 그림에서 컬러 오버레이는 크기와 모양 매개변수가 다른 FFR과 DFR의 영역을 모두 표시합니다. 색상 코딩은 밀도 로그를 기반으로 한 그라데이션으로 파란색 = 1 샘플, 보라색 = 1/4 샘플, 보라색 빨간색 = 1/8 샘플, 빨간색 = 1/16 샘플, 검은색 = 컬링됩니다.

쇼다운 VR은 씬의 여러 부분에서 다양한 복잡성을 가진 시네마틱 경험을 제공합니다. 따라서 GPU 셰이딩 부하를 최고 및 최저로 샘플링하여 전체, 고정 및 동적 렌더링 모드에서 비교할 수 있습니다. 아래 그림에서 씬의 일부 부분에서 전체 렌더링 시 셰이딩 부하가 크게 증가하는 것을 볼 수 있습니다(두 번째 폭발 확인). 셰이딩 부하에 대한 DFR 결과는 장면의 가장 무거운 부분에서도 비교적 일관되고 스파이크가 적어 훨씬 더 부드러운 경험을 제공합니다. 아래 테스트에서는 더 나은 이미지 품질을 위해 해상도를 높이기 위해 씬을 3배로 슈퍼 샘플링한 — 씬을 약간 수정했습니다. 여기에서는 씬의 전체 셰이딩 부하가 증가했음에도 불구하고 약 74.59%의 DFR로 GPU 셰이딩 부하가 더욱 감소한 것을 확인할 수 있습니다.

차세대 헤드셋은 더 높은 해상도와 더 넓은 시야각을 목표로 하고 있기 때문에 화면에 렌더링할 픽셀이 점점 더 많이 필요합니다. 아래 그래프에서 일반 VR 응용 분야의 경우 렌더링되는 픽셀이 기하급수적으로 증가하는 것을 볼 수 있습니다. 이를 DFR과 비교하면 고해상도 헤드셋의 경우 8K 이상으로 갈수록 현저하게 감소합니다. 이는 GPU 셰이딩 부하에 직접적인 영향을 미치므로 헤드셋 해상도가 높아질수록 DFR을 통한 절감 효과는 증가합니다. 이는 기존 세대 헤드셋의 슈퍼샘플링 응용 분야에도 적용됩니다.

또한 개발자는 이러한 성능 향상 기능을 사용하여 부드러운 프레임 속도를 유지하면서 씬의 시각 효과를 크게 향상시킬 수 있습니다. 이를 통해 개발자와 디자이너는 비주얼과 복잡한 셰이더의 한계를 뛰어넘을 수 있습니다. 아래 그림에서는 쇼다운 VR에서 몇 가지 수정 사항을 적용하여 로드에 추가 비용 없이 셰이더 및 조명 효과를 개선하는 테스트를 진행했습니다.

결론

VR 응용 분야의 경우 지속적으로 높은 성능을 유지하는 것이 매우 중요합니다. DFR은 응용 분야에서 이러한 고성능을 유지하고 더 높은 해상도와 더 나은 시각 효과를 추가로 지원할 수 있게 해줍니다. 토비 스포트라이트 기술을 NVIDIA의 가변 비율 셰이딩과 같은 기술과 결합하면 GPU 셰이딩 부하를 줄이면서 포비에이션의 이점을 극대화할 수 있습니다. 단순한 렌더링을 넘어 토비 스포트라이트 기술은 포비에이션 전송 및 스트리밍과 같은 동적 포비에이션을 위한 여러 응용 분야를 지원합니다.

토비 스포트라이트 기술에 대해 자세히 알아보기

자세히 알아보기 토비 스포트라이트 기술 및 기타 동적 포비에이션 응용 분야에 대해 알아보세요.

시그그래프 패널 토론에서 추가 정보도 확인하세요.

포비에이션 렌더링과 토비 스포트라이트 기술에 대해 더 자세히 알고 싶으신가요?

전자책 다운로드 시선추적 및 동적 포비에이션 렌더링 — VR 과제를 해결하는 포비에이션 기술.