MPO ファイルとは?
Multi-Picture Object ファイルは、ひとつのコンテナーに複数の JPEG 画像を格納します。画像は通常、立体写真の異なる視点を表しますが、その他の関連画像も格納できます。
MPO ファイルの仕組み
MPO は、カメラ映像機器工業会(CIPA)の規格 DC-007 である
Multi-Picture Format のファイル形式です。2009 年に初版が公開され、その後改訂されています。ファイルは通常の JPEG として始まります。最初の画像には、MPF で識別される APP2 アプリケーションセグメントがあり、TIFF ディレクトリ形式のインデックスを保持します。ここには画像数と、各画像の種類、バイト単位のサイズ、データオフセットが記録されています。残りの画像は完全な JPEG ストリームとして最初の画像の後ろに追加され、JPEG のみに対応するリーダーには末尾のデータとしか認識されません。このため、MPO を認識しないビューアーでも一見正常な画像が表示され、残りは無視されます。この形式は、視点ごとにひとつの画像を格納する 3D カメラのファイルとしてよく知られていますが、インデックスでは大きなサムネイルや、パノラマまたはマルチアングルセットのフレームも画像の種類として定義されています。
要点
- 埋め込まれた画像を見つけるには、JPEG マーカーを走査するのではなく、インデックスを読み取ってください。APP2 の
MPFセグメントには画像数と、画像ごとのサイズおよびオフセットを持つエントリーが記録されています。たとえば Pillow は、各オフセットをファイルの先頭ではなく、そのセグメント内の MPF ヘッダーの先頭からの相対位置として解釈し、最初の画像のオフセットを 0 として扱います。各画像には独自の埋め込みサムネイルが含まれる場合があるため、ファイルを安全に分割するにはインデックスのすべての値が必要です。 - JPEG のみに対応するコードパスで変換すると、エラーなしで追加画像が失われます。ExifTool は、これらを最初の画像の後ろにある JPEG トレーラー内のデータと説明しています。Pillow は MPO を開く際に主画像だけを読み込み、他の画像には
seekでアクセスします。MPO ファイルの書き込み時、saveは、save_allが設定されるか、append_imagesが指定されない限り、最初のフレームだけを保持します。通常の JPEG 出力に格納される画像はひとつなので、ステレオペアの両方の視点を JPEG として残すには、視点ごとに別のファイルへ書き出す必要があります。 - 拡張子は、どちらの方向でも当てになりません。Pillow は、MPF インデックスに複数の画像が記載された
JPEG をすべて
MPO形式として報告します。カメラの.jpgファイルに大きなサムネイル画像が追加で含まれていたため、この動作に驚いたユーザーから報告がありましたが、有効な MPO ファイルだったことから、メンテナーはその報告をクローズしました。検出形式JPEGに応じて分岐するコードでは、このようなファイルでMPOが返されることを想定する必要があります。Pillow は例外として、Ultra HDR ファイルだけは通常の JPEG として扱います。 - 埋め込まれた画像は互いに置き換えられる視点画像とは限らないため、抽出や破棄の前に各エントリーの種類を確認してください。種類には、主画像、複数のサイズの大きなサムネイル、複数フレームのパノラマ、視差画像、マルチアングル画像、ゲインマップがあります。種類は未定義の場合もあるため、認識できない種類だからといって破棄してよいわけではありません。Android の Ultra HDR 形式はゲインマップを追加の MPF 画像として格納しますが、Google の libultrahdr ライブラリは、そのエントリーを種類未定義で書き込みます。一方、Android の仕様では、XMP メタデータを使ってゲインマップの位置を特定します。ゲインマップは写真ではなく、HDR ディスプレイ向けに主画像の各ピクセルをどれだけ明るくするかを記録したものです。主画像だけを保持すると、標準ダイナミックレンジの画像は残りますが、HDR 表現は失われます。各画像は完全な JPEG で、それぞれ独自の Exif データを保持できるため、写真画像ごとに向きやその他のメタデータを適用してください。ゲインマップは例外で、Android の仕様では主画像と向きを一致させる必要があり、ゲインマップ自体の Exif の向きとカラープロファイルは無視されます。
MPO ファイルが重要になる場面
3D カメラなど、関連付けられた画像を保存する機器から写真をインポートする際は、複数画像の構造を検出してください。JPEG のみに対応するソフトウェアでは最初の画像しか表示されないため、すべての画像が必要な場合は、画像をすべて抽出してください。.jpg という名前のファイルについても、この構造の有無を確認してください。埋め込みの大型プレビューや Ultra HDR 写真のゲインマップにも、同じ構造が使われます。
出典
- CIPA 規格一覧:DC-007 Multi-Picture Format(各版、ダウンロード、MP タイプの登録一覧)
- ExifTool タグ名:MPF タグと MP 画像タイプ
- Pillow ハンドブック:MPO の読み込み、シーク、保存
- Pillow JpegImagePlugin.py:MPF セグメントの解析と JPEG または MPO のファクトリー
- Pillow MpoImagePlugin.py:オフセット処理とフレームごとの Exif
- Pillow の Issue #4603:MPO として認識される JPEG
- Android Ultra HDR 画像形式:ゲインマップの用途、MPF での格納、位置、向き
- libultrahdr multipictureformat.cpp:Ultra HDR ファイル用に書き込まれる MPF エントリー