画像間変換とは?
画像間変換は、入力画像の構造を選択的に保持しながら、別の視覚ドメインに対応する出力画像へと変換します。カラー化、照明の変更、復元、スタイル転送、地図変換などが例として挙げられます。
画像間変換の仕組み
変換モデルは、出力が入力の空間的または意味的な内容との対応を保つような条件付き変換を学習します。ペアあり学習では対応する画素や特徴を教師信号にできますが、ペアなし学習では分布レベルの制約と、内容保持に関するより弱い仮定に依存します。推論時には、デコード、正規化、条件付け、出力のスケーリングを学習時と一致させる必要があります。この技術は編集や復元のパイプラインに組み込まれ、その変更にはドメイン固有の検証が必要です。
要点
- サイクル一貫性は、変換後のサンプルを元の入力に近い状態へ戻すよう促しますが、同一性、幾何形状、まれな細部が変わらず保持されることを証明するものではありません。
- 画素単位で位置合わせされたペアの例では、直接的な再構成損失を使用できます。位置ずれのあるペアでは対応座標が一致しないため、ぼけや二重の輪郭を学習してしまいます。
- 確率的な変換モデルで制御された別候補を生成するには、明示的なノイズ入力または潜在入力が必要です。それがなければ、学習した写像が入力ごとに単一の出力に収束することがあります。
画像間変換が重要になる場面
入力と出力の正確な対応が得られる場合はペアありの学習データを、得られない場合はペアなしの手法を選びます。モデルが意図したドメインの変更を超えて同一性、幾何形状、事実に関わる細部を変える可能性があるため、出力の確認が必要です。