フォビエーテッドイメージングとは?

フォビエーテッドイメージングは、一つ以上の注視点や関心領域に応じて、画像内の空間的な詳細度を変える手法です。選択した領域の近くで詳細度を最も高くし、周辺部に向かって低くします。

フォビエーテッドイメージングの仕組み

フォビエーテッドシステムは、選択した視線位置、予測した注目領域、またはビューポート内の固定位置を中心に、空間的な品質マップを作成します。そのマップに基づき、レンダリング、センサーのサンプリング、またはエンコードで、対象領域にはより多くの細部を割り当て、それ以外では段階的に減らします。固定方式では視線追跡装置は不要ですが、刻々と変わる注目先には追従できません。視線連動方式なら追従できますが、追跡と更新の遅延が伴います。表示や配信より前の、リソース配分を空間的にまだ変更できる段階に適した手法です。

要点

  1. 視線追跡方式のフォビエーションは、キャリブレーション、予測、エンドツーエンドの遅延に依存します。高精細な領域の表示がサッカード後になると、注視位置に周辺部と同じ品質の画像が一瞬見えることがあります。
  2. 可変レートシェーディングはレンダリングの処理量を減らし、関心領域に応じた量子化はエンコード後のデータ量を減らします。両者は異なる段階で動作し、同等の手法ではありませんが、組み合わせて使えます。
  3. コーデックのタイルやスライスの境界によって、円形の注視領域に合わせて品質を調整できる精度が制限されることがあります。分割が粗いと、中心窩に対応する領域の外側にビットを費やしたり、品質の急激な変化が目立ったりすることがあります。

フォビエーテッドイメージングが重要になる場面

VR やリモートレンダリングのシステムでは、必要な処理量と帯域幅を減らすためにフォビエーションを使います。視線追跡を用いる実装では、すばやく更新しないと、見ている場所の細部のぼやけに気づかれることがあります。

メディアの知識を実用的なパイプラインに

単一の宣言的 API で、アップロード、処理、AI、ストレージ、配信を連携できます。エンコードスタックの管理、スケーリング、形式の変化への対応はお任せください。

Transloadit を無料で試す