動画ストリーム処理とは?
動画ストリーム処理は、ファイル全体の受信を待つのではなく、到着する映像・音声データを継続的に変換または分析する処理です。トランスコード、合成、パッケージング、推論、録画、品質監視などの操作が含まれます。
動画ストリーム処理の仕組み
ストリームプロセッサーは、完成したアセットを入力とするのではなく、容量に上限のある常時稼働の処理グラフで、タイムスタンプ付きのサンプルを受け付けます。デコード、分析、オーバーレイ、音声ミキシング、エンコード、パッケージングは、それぞれ許容遅延の一部を消費し、異なる速度で動作することがあります。そのためライブシステムでは、バッファリング、バックプレッシャー、順序制御、障害復旧を調整しながら、下流での再生に間に合う速さで成果物やイベントを出力します。
要点
- エンドツーエンドの遅延は、キャプチャバッファー、デコード、処理、エンコード、パッケージング、プレーヤーのバッファリングで積み重なります。ひとつの段階だけを最適化しても、視聴時の遅延は大きく変わらないことがあります。
- ある段階が入力レートに追いつかない場合、容量に上限のあるパイプラインでは、データの破棄、処理量の削減、バックプレッシャーの適用、または遅延の増加が必要です。上限のないキューは、いずれメモリを使い果たします。
- フレームの並べ替えが行われると、表示タイムスタンプとデコードタイムスタンプが異なることがあります。そのため、プロセッサーは到着順が表示順だと仮定せず、タイムスタンプの意味を保持する必要があります。
動画ストリーム処理が重要になる場面
ライブ字幕、モデレーション、オーバーレイ、分析、マルチビットレートエンコードには、継続的な時間制約の下でフレームを処理することが必要です。複雑な操作は出力を改善しますが、遅延の増加やデータの欠落を招くことがあります。