動画セグメンテーションとは?
動画のセグメンテーションは、映像をショット、シーン、追跡対象の物体など、意味のある時間的または空間的な単位に分割します。適切な単位は、編集、内容の解釈、ピクセル単位の解析のうち、どの作業を行うかによって異なります。
動画セグメンテーションの仕組み
セグメンテーションには、映像をトランジションで区切る時間的な処理と、フレーム内の領域をクラスや個々の物体に割り当てる空間的な処理があります。ショット境界検出システムはフレーム間の変化を解析します。一方、セマンティックモデルとインスタンスモデルはマスクを生成し、時間が経っても同じ対象を識別し続けるために追跡が必要になる場合があります。これらの出力は、編集用インデックス、検索、エフェクト、計測、機械学習パイプラインで利用され、評価基準は対象となる単位に応じて選択します。
要点
- ハードカットではフレーム間に急激な変化が生じますが、フェードやディゾルブでは、変化の手がかりが複数のフレームにまたがります。急激なカットだけに調整された検出器は、緩やかなトランジションを見逃すことがあります。
- セマンティックセグメンテーションはピクセルに「人物」などのクラスを割り当てます。一方、インスタンスセグメンテーションは、そのクラス内の人物を個別に区別するため、必要な出力構造が異なります。
- 各フレームに画像モデルを個別に適用すると、マスクの境界やオブジェクトのラベルがちらつくことがあります。フレーム間の一貫性を高めるために、時間的特徴やトラッキングが使われます。
動画セグメンテーションが重要になる場面
パイプラインでは、シーン検出、オブジェクトの分離、背景の置換、コンテンツ分析のために動画を分割することがあります。時間軸上の分割とピクセル単位のマスクには異なるモデルが必要であり、互換性のある出力として扱うべきではありません。