ダイナミックフォベーテッドレンダリングによるリアルなバーチャルビジョン

※翻訳ソフトを使用しています。

トビー・スポットライト・テクノロジー

トビーは過去20年にわたり、様々なデバイスやユースケースにアイトラッキングとユーザーセンシング技術を提供し、アイトラッキングの世界的リーディングカンパニーとして知られるようになりました。今日、トビーのアイトラッキング技術は、ラップトップコンピュータ、VRヘッドセット、ARグラス、革新的なヘルスケアソリューション、福祉機器、その他多くのアプリケーションや製品に搭載されています。最近、トビーは、トビー・スポットライト・テクノロジー（Tobii Spotlight Technology）と呼ばれる、— 、フォベーションに関連する一連の技術と機能に取り組んでいます。このブログでは、トビーが最近実施したベンチマークに重点を置きながら、フォベーションによって可能になる現在の利点を探ります。

フォベーション

少し背景から説明しよう。フォーベーショ ンとは、人間の視覚を模倣した画像レンダリングの計算プロセスである。— ダイナミックフォベーテッドレンダリング（DFR）はアイトラッキングを採用し、高解像度が必要な画像領域（— ）に処理と帯域幅の使用を集中させ、周辺部に向かって低解像度を提供します。このように画像を最適化することで、人間の視覚をシミュレートすると同時に、帯域幅と処理に対する要求を削減する— 待ち時間を短縮し、応答時間を改善する。

トビー・スポットライト・テクノロジーは、視線計測に特化した先進的なアイトラッカーです。ユーザーの視線を正確かつ低レイテンシーでリアルタイムにトラッキングし、リアルな人間の視覚をシミュレートする優れたダイナミックフォベーションを実現します。GPUへの負担を軽減し、全体的なレンダリング速度を改善することで、Tobii SpotlightテクノロジーはVRアプリケーションの全体的な体験に改善をもたらします：

• より良い画像品質 — GPUの節約により、窩洞領域で高解像度の画像をリアルタイムでレンダリングすることが可能になります。DFRはシェーディングの負荷を大幅に軽減できるため、DFRの利得はより高解像度のヘッドセットで大きくなります。

• より高く滑らかなフレームレート — フレームレートはVRアプリケーションの性能と存在感を定義します。フレームレートが低下すると（一般的に複雑なシェーダーレンダリングの場合）、ジャダーが発生し、これはユーザーにとって顕著であり、乗り物酔いや吐き気の原因になることさえあります。DFR はスムーズなフレームレートを維持するのに役立ち、シーンの最も複雑なシェー ディングで最も重い部分でその節約効果が最大になります。

• 強化されたグラフィックス — VRアプリケーションは、標準的なPCゲームと比較して、レンダリングに対する要求が非常に高くなります。同レベルのパフォーマンスを維持するために、開発者は従来、アプリケーション自体を最適化してきましたが、その結果、シーンの品質が低下したり、一部のリアルタイム・エフェクトが無効になったりすることがありました。DFRは、GPU負荷を増加させることなく、より複雑でリアルなシェーディングを可能にするため、開発者はパフォーマンスに影響を与えることなく、アプリケーションに高品質な設定を含めることができます。

• 省電力 — GPU負荷の低減は、ラップトップ、ヘッドセット、その他のバッテリー駆動デバイスの潜在的な省電力化も可能にします。

NVIDIA可変レートシェーディング（VRS）によるDFR

今日、多くの開発者は、FoveatedレンダリングとNVIDIA VRS— を関連付けています。これは、シェーディング密度と真のスーパーサンプリングをより細かく制御できるレンダリング技術です。VRSを使用することで、開発者は、ビジュアル品質の向上、GPUコストの削減、あるいはその両方のバランスを取ることを選択することができます。

VRSは、画像の異なる領域にさまざまな処理能力を適用する。この技術は、1ピクセルのシェーダー演算で処理されるピクセル数を変更することで機能します。これらの演算はピクセルのブロックに適用できるようになり、アプリケーションは画面の異なる領域でシェーディング品質を効果的に変化させることができます。

最大の効果を得るために、VRSはアイトラッキングと組み合わせて、ユーザーの視線に最適なレンダリング品質を合わせることもできます。NVIDIA VRSカスタムパターンにより、開発者は窩縁領域に基づいてシェーディング密度を最適化することができます。フォーバル領域が小さいほど、GPU節約による利益は大きくなります。窩縁領域のサイズは、以下によって決定されます：

• ディスプレイの有効視野— Foveationのための角度範囲は視野によって変化しない。言い換えれば、高画質でなければならないディスプレイの割合は、視野が大きくなるにつれて減少する。

• フォーベーテッドレンダリング技術によって生じる画像アーチファクト。

• 追跡されたフォーベーションの表示における遅延。

• アイトラッキングシステムの精度とロバスト性。

• アーチファクトに対するユーザーの感度。

VRSフォーベーションによるDFRは、低レイテンシのアイトラッキング信号と組み合わせることで、ユーザーに最も最適化されたカスタムパターンを提供します。これにより、シェーディングレートを大幅に削減できるため、アプリケーションでVRSを有効にする利点が最大化され、アプリケーションの全体的なパフォーマンスが向上し、フォーバル領域でのスーパーサンプリングにより優れた画質を実現できます。

ユーザーへの適応

すべてのアイトラッキング信号が同じように作られているわけではありません。遅延、周波数、精度、ノイズはすべて、窩洞領域の大きさに寄与することは明らかです。おそらく、信号の信頼性、母集団カバー率、角度精度のフォールオフ、アイトラッキング信号のアーチファクトの影響は、あまり明らかではないでしょう。

さらに、視線を追跡する能力は集団によって異なる。追跡しやすい人もいれば、まったく追跡できない人もいる。普段は追従しやすいユーザーが、疲れや脱水、病気によって追従しにくくなることもある。効果的なファベージョンは、このようなばらつきを考慮する必要がある。

トビーは、特殊な信号で発生する有害な信号アーチファクトを低減または除去する、特殊なレンダリングトラッキング信号の開発を含む、フォーベーションに特化した信号研究に多大な投資を行ってきました。

ベンチマーク

最近、Tobiiは、固定および動的なフォーベーテッドレンダリングのパフォーマンス上の利点を比較するさまざまなベンチマークを実施した。固定フォーベーテッドレンダリング（FFR）は、前方の視線方向を想定し、ヘッドセットでははっきり見えない表示領域（主にレンズ歪み領域）のレンダリングコストを制限する技術です。一方、DFRは、ユーザーが見ている場所であればどこにでもフォーバル領域を移動させ、フォーバル領域のサイズをさらに小さくします。

その結果（フォーベーションなしと比較した場合）は一貫して、以下のようになった：

• DFRは、シーンのさまざまな部分でロックされた6dof（各プリセッ トに対して一定のフレームを持つことを保証する）を使用してテス トを実行している間、GPUシェーディング負荷の平均で約57% の削減をもたらします。削減率は、シーンのピクセル集約的な部分ほど高くなります。

• DFRはGPU負荷を劇的に軽減するため、将来のヘッドセットでは8K以上の解像度が可能になります。

• DFRにより、開発者は高いパフォーマンスを維持しながら、グラフィックを向上させるために複雑なシェーダーやエフェクトを追加することができます。

Vive Pro Eyeでテストを実行している間、DFRのシェーディング率16％を達成するために可変率シェーディングのためのfoveationパラメータを最適化しました。固定では、シェーディング密度を40%に設定しました。これは、Vive Pro Eyeヘッドセットのパラメータに最適で、有効にしたときに周辺部のユーザーには目立ちません。画面は、foveal（ユーザーが見ている場所）、mid（fovealからperipheralへの移行部）、peripheral（最大ゲインに最適化された領域）の3つの領域に分かれています。下図では、FFRとDFRの両方の領域を、異なるサイズと形状のパラメータで色分けして示している。色分けは密度の対数に基づく勾配で、青＝1サンプル、紫＝1/4サンプル、赤紫＝1/8サンプル、赤＝1/16サンプル、黒＝淘汰。

Showdown VRは、シーンのさまざまな部分で複雑さが変化する映画的体験です。このため、最高と最低の GPU シェーディング負荷をサンプリングし、Full、Fixed、および Dynamic レンダリングモード間で比較することができます。下図では、シーンのいくつかの部分について、フルレンダリングではシェーディング負荷が大幅に増加することが観察されます（2番目の爆発をチェック）。シェーディング負荷に対するDFRの結果は比較的一貫しており、シーンの最も重い部分でさえもスパイクが少なく、よりスムーズな体験となっています。以下のテストでは、シーンのわずかな変更を考慮します。— 、より良い画質のために解像度を上げるために、シーンを3倍スーパーサンプリングしました。ここでは、シーンの全体的なシェーディング負荷が増加しているにもかかわらず、約74.59%のDFRでGPUシェーディング負荷のさらなる削減を観察します。

次世代ヘッドセットはより高い解像度と広い視野を目指しており、画面上にレンダリングされるピクセル数はますます多くなっています。下のグラフでは、通常のVRアプリケーションの場合、レンダリングされるピクセルが指数関数的に増加していることがわかります。これを DFR と比較すると、8K 以降の高解像度のヘッドセットでは大幅に低下しています。これはGPUシェーディング負荷に直接影響するため、DFRによる節約はヘッドセットの解像度が上がるにつれて増加します。これは、既存世代のヘッドセットのスーパーサンプリング用途にも当てはまります。

開発者はまた、スムーズなフレームレートを維持しながら、シーンの視覚効果を大幅に向上させるために、これらのパフォーマンス向上のメリットを使用することもできます。これにより、開発者やデザイナーは、ビジュアルや複雑なシェーダーの限界を押し広げることができます。下図では、Showdown VRにいくつかの変更を加えてテストし、負荷に追加コストをかけずにシェーダーとライティング効果を向上させています。

結論

VRアプリケーションにとって、常に高いパフォーマンスを維持することは非常に重要です。DFRは、アプリケーションがこの高いパフォーマンスを維持することを可能にし、さらに高解像度と優れた視覚効果をサポートします。トビー・スポットライト・テクノロジーがNVIDIAのバリアブル・レート・シェーディングのようなテクノロジーと組み合わされることで、GPUシェーディングの負荷を軽減しながら、ファベーションの恩恵を最大限に受けることができます。トビー・スポットライト・テクノロジーは、レンダリングだけでなく、フォベーテッド・トランスポートやストリーミングのようなダイナミックフォベーションのためのいくつかのアプリケーションを持っています。

トビー・スポットライト・テクノロジーの詳細

詳細はこちら トビー・スポットライト・テクノロジーその他のダイナミックフォベーションアプリケーション

また、Siggraphのパネルディスカッションの追加情報もチェックしてください。

トビー・スポットライトについてもっと知りたいですか？

電子ブックをダウンロード アイトラッキングとダイナミックフォベーテッドレンダリング— VRの課題を解決するテクノロジー.