AI 超解像とは?
AI 超解像は、学習済みモデルを使って低解像度の入力から高解像度の画像を生成します。追加された細部は観測ではなく推定による場合があるため、鮮明な結果がより正確であるとは限りません。
AI 超解像の仕組み
従来の補間は、固定のリサンプリング規則で新しい画素を計算します。一方、AI 超解像は、学習画像から学んだパターンを使って高解像度の内容を推定します。単一画像モデルは、入力が不明瞭な部分にも、もっともらしい質感を合成できます。動画モデルでは、隣接フレームの情報も組み合わせる場合があります。劣化のないダウンサンプリングで学習したモデルは、実際の圧縮、ノイズ、ぼけにうまく対応できないことがあります。実環境の劣化を学習したモデルでも、未知のアーティファクトを増幅する場合があります。見た目の鮮明さと原画像への忠実度は、別々に比較してください。見栄えのよい結果にも、誤った細部が含まれることがあります。
要点
- 判読できない文字や顔を忠実に復元できますか?確実には復元できません。もっともらしい文字や顔の特徴は、復元ではなく合成されたものかもしれません。原画像を保持し、文字や人物の同一性は独立した証拠と照合してください。出力が鮮明になっただけでは、OCR の精度を裏付けられません。
- 画像を大きくするだけでも AI が必要ですか?いいえ。通常のリサイズでもピクセル寸法は増やせます。同じ出力サイズで両者を比較し、見た目の改善がアーティファクトや処理コストに見合う場合にのみ AI を使ってください。画像の実際の幅と高さをそれぞれ二倍にすると、画素数は 4 倍になりますが、撮影された細部の情報量が 4 倍になるわけではありません。
- 画像用アップスケーラーを動画フレームに適用できますか?フレームを個別に処理すると、フレーム間で質感が変わる場合があります。時間的一貫性を考慮して設計されたモデルを評価し、処理後のクリップを実際に再生して確認してください。静止フレームの見栄えがよくても、動画の品質がよいとは限りません。Transloadit の
/image/upscaleは画像を処理するもので、時間的一貫性のある動画を処理するものではありません。
AI 超解像が重要になる場面
小さな画像を大きく表示する必要があり、より高品質な原本が入手できず、通常のリサイズではぼやけすぎる場合に検討してください。見かけの鮮明さよりも文字、顔、製品のディテールを正確に保つことが重要な場合は、原本または従来方式のリサイズを優先してください。動画ではフレーム間の一貫性も必要になるため、別途テストしてください。
AI 超解像の主な用途
- 元画像を差し替えられず、目視確認で結果が許容できる場合に、小さな写真から拡大表示用の画像を作成
- 未加工の原本を記録として保持しながら、スキャン済みまたは圧縮済みのアーカイブ画像を表示用に試験処理
- フレーム間の一貫性が重要な場合に、動画向けモデルで低解像度動画を評価
AI 超解像の活用
まず、入手できる最良の原画像と目標の表示サイズを用意してください。基準となる従来のリサイズ結果を作成し、同じ寸法の超解像の結果と比較してください。モデルが異なるサイズを返す場合は、比較前にその出力を目標寸法にリサイズしてください。原画像は変更せずに保持し、選んだモデルと設定を派生画像とともに保存してください。これにより、後から確認する人が作成方法を特定できます。
目的が、見栄えのよい表示用画像なのか、忠実な情報なのかを決めてください。正確な文字、人物の同一性、測定値が重要な場合は、生成された細部を事実として受け入れるのではなく、よりよい原画像や、独立した検証を受けたワークフローを探してください。
得られるメリット
- モデルが画像の内容や劣化の状態に適していれば、小さな原画像も大きな表示サイズでより自然に見える場合があります。
- 補正した派生画像を別に作成すると、将来の処理に備えて原画像を保持しながら、編集者が結果を比較できます。
- 通常のリサイズと一貫した方法で比較すると、どの種類のアセットで AI 処理が見合うかを判断しやすくなります。
必要なコスト
- 文字、顔、線、繰り返しパターンに、もっともらしくても誤ったディテールや、目に見えるアーティファクトが生じることがあります。
- 推論によって処理量が増えます。速度や節約効果が一定だと想定せず、代表的な入力でレイテンシーとコストを測定してください。
- ピクセル寸法が大きくなると、必要なメモリ容量、ストレージ容量、配信リソースが増えることがあります。エンコード後のファイルサイズは、形式と圧縮方式にも左右されます。
本番導入前
- 小さな文字、顔、細かな模様、圧縮済みまたはノイズのある入力を含め、代表的な原画像を選んでください。モデルと設定を記録してください。
- 想定する表示サイズで、原画像、従来のリサイズ結果、AI の結果を比較してください。文字や顔を原画像と照合し、誤解を招く変更があれば、その結果は採用しないでください。
- 処理規模を拡大する前に、出力寸法、ファイルサイズ、処理時間、コストを測定してください。動画では、個々のフレームに加えて動きも確認してください。
Transloadit による AI 超解像の支援
Transloadit の Robot /image/upscale は AI による画像のアップスケーリングに対応し、現在ベータ版です。従来方式との比較には /image/resize を使用してください。デフォルトで有効な zoom パラメーターにより、小さな画像を拡大できます。本人の顔を忠実に保つことが重要な場合は、face_enhance を無効のままにし、Robot の model の選択肢にある顔復元モデル(現在のドキュメントでは GFPGAN と CodeFormer)は使用しないでください。ただし、それ以外のモデルの出力が信頼できる証拠になるわけではありません。この画像アップスケーラーは、時間的な関係を考慮した動画超解像パイプラインではありません。
デフォルトの Real-ESRGAN モデルは、記載されたピクセル数の上限を超える入力を縮小してから拡大率を適用します。このため、出力寸法はアップロードした元画像の寸法に拡大率を掛けた値より小さくなることがあります。モデルごとの制限を確認し、少数のサンプルで返された寸法を検証してください。処理には Replicate を使用します。画像コレクション全体のコストを見積もる前に、リンク先の実行時間に基づく料金とフォールバック時の料金を確認してください。