動き推定とは?

動き推定は、動画のフレーム間で画像の領域がどのように動くかを求め、その動きをベクトルやその他のモデルで表します。予測、解析、画像の位置合わせに使う動き情報を提供します。

動き推定の仕組み

動き推定では、関連するフレーム内の領域間で対応関係を探索し、変位の候補と予測誤差の指標を求めます。動画エンコーダーはこれらの候補を使い、フレーム間符号化のコストが空間符号化より低いかどうかを判断します。その他のシステムでは、手ぶれ補正、追跡、補間、位置合わせのために動きを解釈します。その際に求められるモデルには、密なモデル、グローバルモデル、特徴点ベースのモデルなどがあります。探索範囲、精度、評価指標によって、計算量と正確さのトレードオフが決まります。

要点

  1. ブロックマッチングを行うエンコーダーは、一般に絶対差分和などの指標で候補を比較し、最適な符号化モードを選ぶ際にはベクトルの伝送コストも考慮します。
  2. 動きベクトルは予測パラメーターであり、必ずしも物体の物理的な軌跡を表すわけではありません。遮蔽、テクスチャの繰り返し、カメラの動き、符号量の最適化によって変わることがあります。
  3. 小数画素精度のベクトルには、補間した参照サンプルが必要です。ゆっくりした動きや斜めの動きの予測を改善できますが、探索の処理量とデコーダーのフィルタリング処理が増えます。

動き推定が重要になる場面

圧縮、手ぶれ補正、フレーム補間、追跡、動きの解析には、動き推定を使用してください。探索範囲を広げたり探索精度を高めたりすると、正確さが向上する場合がありますが、遅延と計算コストが増加します。

メディアの知識を実用的なパイプラインに

単一の宣言的 API で、アップロード、処理、AI、ストレージ、配信を連携できます。エンコードスタックの管理、スケーリング、形式の変化への対応はお任せください。

Transloadit を無料で試す