動画アノテーションとは?
動画アノテーションは、動画の選択した部分にラベル、領域、タイムスタンプ、トラック、説明などを付与することです。アノテーションは手動で入力するほか、コンピュータービジョンシステムで生成してからレビューする場合もあります。
動画アノテーションの仕組み
アノテーションデータセットは、意味ラベルを時間区間、個々のフレーム、空間的な形状、またはフレーム間で追跡される識別情報に結び付けます。スキーマでは、ボックス、ポリゴン、マスク、キーポイント、自由記述テキスト、イベントカテゴリなどを表現でき、来歴情報には各注釈を作成した人やシステムを記録します。座標と時刻の規約もデータ契約の一部です。アノテーションは、メディアのレビューと、後続の検索、品質管理、アクセシビリティ、モデル学習のパイプラインとの間に位置します。
要点
- メディアがトリミングやコンフォームを経ている場合や、可変フレームレートの場合、フレーム番号は曖昧になります。明示されたタイムベースに基づくタイムスタンプは、交換用の座標として、より長く一貫性を保てます。
- 物体のトラックには、安定した識別情報に加え、可視状態や遮蔽状態の明示が必要です。これらがないと、補間によって無関係な物体が結び付けられたり、対象が隠れている間にも形状が描かれたりする場合があります。
- 正規化座標は、生のピクセル座標よりも解像度の変更に対応しやすくなります。ただし、利用側では表示時の回転、クロップ領域、原点、境界を含むかどうかについて、引き続き取り決めが必要です。
動画アノテーションが重要になる場面
アノテーションを使って、学習データの準備、レビュー対象イベントのマーキング、シーンの検索対応を行います。自動ラベル付けは手作業を減らせますが、タイミングや分類の誤りが後続処理に伝播する可能性があるため、検証が必要です。