セマンティックセグメンテーションとは?

セマンティックセグメンテーションは、画像内のすべてのピクセルにクラスラベルを割り当てます。領域のカテゴリを識別しますが、通常、同じクラスに属する個々のオブジェクトインスタンスは区別しません。

セマンティックセグメンテーションの仕組み

セマンティックセグメンテーションモデルは、各出力位置が入力ピクセルまたはパッチのクラス予測に対応する密なマップを推論します。ネットワークは多くの場合、特徴をダウンサンプリングして文脈を学習した後、アップサンプリングします。そのため、境界の精度はクラス領域の内部よりも低くなることがあります。学習には、ラベル付きマスクと、背景や無視するピクセルの扱いを含む、定義済みのクラス分類体系が必要です。出力は、マスキング、シーン理解、計測、モデレーション、自動編集の各処理段階で使用されます。

要点

  1. 予測は多くの場合、単一チャネルのクラスインデックスマスク、またはクラスごとのスコアマップとして保存されます。インデックスマスクのリサイズには、存在しないラベルの生成を避けるため、最近傍サンプリングが必要です。
  2. Intersection over Union はクラスごとの重なりを評価します。背景領域が画像の大部分を占める場合に、単純なピクセル正解率では見えなくなる失敗を明らかにします。
  3. セマンティックな出力は個体の識別情報ではなくカテゴリを表すため、接している二台の車が、連続した一つの「車」領域になることがあります。これらを分離するには、インスタンスを考慮した後処理か、別のモデルが必要です。

セマンティックセグメンテーションが重要になる場面

道路、空、植生、人、背景などの領域をピクセル単位で扱う必要があるアプリケーションで使用します。同じクラスの個々のオブジェクトを数えたり追跡したりする必要がある場合は、代わりにインスタンスセグメンテーションを選択してください。

メディアの知識を実用的なパイプラインに

単一の宣言的 API で、アップロード、処理、AI、ストレージ、配信を連携できます。エンコードスタックの管理、スケーリング、形式の変化への対応はお任せください。

Transloadit を無料で試す