ファイル構造とは?

ファイル構造は、ヘッダー、メタデータ、ペイロード、インデックス、チェックサムなどのバイト列を、各形式でどのように配置するかを規定します。その規則によって、ソフトウェアが保存データを見つけて解釈する方法が決まります。

ファイル構造の仕組み

ファイル形式の構造は、バイトレベルの解析規則です。多くの場合、順序付きレコード、入れ子のチャンク、長さで区切られたボックス、マーカーで区切られたセグメントなどで構成されます。たとえば PNG は、八バイトのシグネチャの後に、長さ、四バイトのタイプ、データ、CRC をそれぞれ含むチャンクが続きます。MP4 系のファイルでは、型を持つボックスを入れ子にします。ZIP では、格納する各ファイルの前にローカルヘッダーを置き、ファイルデータの後にセントラルディレクトリを置きます。従来の TIFF(TIFF 6.0)は、ディレクトリを指す八バイトのヘッダーで始まります。ディレクトリは、ヘッダーより後の任意のワード境界(偶数バイトオフセット)から始められます。ヘッダーは解釈方法を定め、インデックスとオフセットは、ファイル内の別の場所にあるペイロードへの非順次アクセスを可能にします。これは、個々のメディアストリームの圧縮方法を定義するコーデックとは異なります。構造に関する知識は、デマルチプレクサー、検証ツール、修復ツール、メタデータ読み取りツール、セキュリティスキャナーで使われます。

要点

  1. 先頭のシグネチャは形式の系統を絞り込みますが、それだけでは形式を確定できないこともよくあります。WAVE、AVI、WebP の WHATWG MIME スニッフィング用シグネチャは、すべて RIFF で始まり、オフセット 8 からのバイト列で区別します。ファイル形式検出ライブラリに対する公開バグ報告では、あるオフィススイートの .docx、.pptx、.xlsx ファイルが、文書形式としてではなく、単なる application/zip と報告されたことが示されています。修正内容には、その理由も説明されています。そのスイートは、ライブラリが形式の識別に使う [Content_Types].xml をコンテンツエントリーの後に格納しており、ライブラリのストリームモードがデフォルトで読み取るサンプル範囲から外れていたのです。また、シグネチャからは、ファイルの残りの部分について何もわかりません。PNG 仕様では、後続の IHDR チャンクと各チャンクの CRC によって、デコーダーがさらに確度を高める仕組みになっています。
  2. バイトを移動する前に、各オフセットの基準位置を把握してください。TIFF のオフセットはファイルの先頭を基準とし、ディレクトリは、そのディレクトリが記述する画像データの後に置かれる場合があります。ZIP の読み取りプログラムは、ファイルデータの後に格納されたセントラルディレクトリを通じてエントリーを見つけます。そのレコードには、各ローカルヘッダーのオフセットが記録されています。MP4 系のファイルでは、stco ボックスがチャンクの絶対オフセットを保持します。一方、ムービーフラグメントは、それを囲む moof ボックスを基準に、データの相対位置を指定できます。参照先が移動した場合や、参照先より前のデータが挿入または削除された場合、書き込み側で再計算しない限り、絶対オフセットは不正になります。
  3. バイトオーダーは形式の特性であり、読み取り側のマシンの特性ではありません。PNG は複数バイトの整数を最上位バイトから格納し、OpenEXR はリトルエンディアンで格納します。ZIP も、仕様でフィールドに別の指定がある場合を除き、リトルエンディアンを使用します。TIFF は先頭の二バイトでバイトオーダーを宣言します(リトルエンディアンは II、ビッグエンディアンは MM)。そのため、TIFF の読み取りプログラムは両方に対応する必要があります。生のバイト列をネイティブ整数にキャストするのではなく、各長さフィールドとオフセットフィールドを、形式で指定されたバイトオーダーで明示的にデコードしてください。
  4. 長さを先頭に付けたレコードでは、読み取り側が理解できない内容をスキップできますが、安全にスキップできる条件は形式によって決まります。PNG では、この規則がチャンク名に組み込まれています。未知の補助チャンクは無視できますが、未知の必須チャンクは画像を抽出するデコーダーにとって致命的な条件です。スキップするには、長さフィールドを信頼できることも必要です。PNG 仕様では、CRC を検証しない場合、誤ったチャンク長によってデコーダーの読み取り位置がずれ、後続データをチャンクヘッダーと誤認するおそれがあると警告しています。また、チャンク長は最大 2^31-1 バイトになるため、不適切な実装のデコーダーではバッファーオーバーフローが起こるおそれもあるとしています。長さやオフセットを使う前に、実際に利用できるバイト数の範囲内かをすべて検証してください。MITRE の 2025 年版 CWE Top 25 では、境界外書き込みと境界外読み取りがそれぞれ第5位と第8位に挙げられています。

ファイル構造が重要になる場面

開発者は、パーサーの構築、アップロードの検証、破損の修復、埋め込みデータの抽出の際にファイル構造を調べます。オフセットやバイトオーダーを無視すると、不正な読み取りやセキュリティ上の欠陥につながることがあります。

出典

メディアの知識を実用的なパイプラインに

単一の宣言的 API で、アップロード、処理、AI、ストレージ、配信を連携できます。エンコードスタックの管理、スケーリング、形式の変化への対応はお任せください。

Transloadit を無料で試す