DAT ファイルとは?
DAT ファイルは汎用的なデータファイルで、内部構造は作成元のアプリケーションによって異なります。Video CD で使われる一部の DAT ファイルには MPEG プログラムストリームが含まれますが、拡張子だけでは形式を特定できません。
DAT ファイルの仕組み
.dat は形式ではなく命名上の慣習で、互いに無関係なプログラムが、それぞれのテキストやバイナリデータに使用しています。file ユーティリティのシグネチャデータベースだけでも、この拡張子は
Video CD の RIFF/CDXA 動画、Windows の起動ログ BOOTSTAT.DAT 、Inno Setup のアンインストールログ、Outlook のニックネームファイルに関連付けられています。また、Outlook の TNEF メール添付ファイルは、通常 winmail.dat という名前で届きます。名前には構造に関する情報がないため、file は内容に基づいて入力を分類し、シグネチャテストを実行してから、該当しない場合にテキストのヒューリスティック判定を行います。Video CD の MPEG シーケンスを表す .DAT エントリーは特殊です。通常のファイルとして動作するのではなく、ディスクのファイルシステムを介して生の MPEG トラックを公開します。一方、同じディスク上のほかの .DAT ファイルには、アクセスデータや字幕データが格納されます。
要点
.datファイルに共通するシグネチャはありません。fileのマジックデータベースは、この拡張子を RIFF/CDXA 動画、Windows の起動ログBOOTSTAT.DAT、Inno Setup のアンインストールログ、Outlook のニックネームファイルなど、異なる形式に割り当てています。そのため、パイプラインでは検出した内容に基づいて処理先を振り分ける必要があります。どの形式にも一致しない場合、正確なラベルはapplication/octet-streamです。これは RFC 2046 で任意のバイナリデータとして定義されています。/MPEGAV配下にある、Video CD の MPEG シーケンスを表す.DATエントリーは、通常のファイルではありません。MPlayer のドキュメントでは、これを生の 2324 バイトの MPEG セクターにアクセスする ISO ゲートウェイと説明しています。Windows はこれを介して生のトラック読み取りをエミュレートしますが、Linux の標準 ISO 9660 ドライバーは使用できないデータを返します。Linux では、たとえば MPlayer のvcd://構文や、vcdxripなどのリッピングツールで、トラック自体を読み取ってください。ディスク上のほかの.DATファイル、たとえば/EXT/SCANDATA.DAT(再生時間アクセスデータ)や/EXT/CAPTnn.DAT(クローズドキャプション)は動画ではありません。メディアツールを選ぶ前に、ディスク上のパスと内容を確認してください。- Windows のファイルシステム経由でコピーした Video CD の MPEG
.DATファイルは、通常、フォームタイプがCDXAの RIFF ヘッダーで始まります。オフセット 0 にバイト列RIFFが、オフセット 8 にCDXAがあります。fileはこれを、メディアタイプがvideo/x-cdxaの、ラップされた MPEG-1 として報告します。VCDImager のマニュアルによると、この RIFF コンテナーはディスクの一部ではなく、おそらく OS またはファイルシステムが挿入するものです。一方、vcdxripなどのリッピングツールは、内部の MPEG プログラムストリームを抽出します。コピーの名前を.mpgに変更しても、RIFF ヘッダー、セクターヘッダー、パディングは残ります。そのため、ラッパーのない MPEG プログラムストリームを想定したデマルチプレクサーでは、先にラッパーの除去が必要になる場合があります。同じマニュアルには、除去に使うcdxa2mpegも記載されています。 - Outlook の TNEF コンテナーは、通常
winmail.datという名前のメール添付ファイルとして届きますが、ATT00008.datのような汎用的な名前の場合もあります。送信者の添付ファイルのひとつではなく、それらを包むコンテナーです。どちらの名前も内容の証明にはなりません。fileは、ファイル先頭のリトルエンディアンの 32 ビットシグネチャ0x223E9F78(バイト列78 9F 3E 22)によって TNEF を識別します。そのため、まずシグネチャを確認し、メディアコンバーターに渡すのではなく TNEF デコーダーで展開してください。米国議会図書館の形式解説によると、このコンテナーには書式付きテキスト、OLE オブジェクト、通常の添付ファイルが格納されます。また、送信者のログオン名や個人用フォルダーのパスが埋め込まれる場合もあり、受信者は元のファイルをバイナリエディターやテキストエディターで開くと、それらを読み取れます。
DAT ファイルが重要になる場面
パーサーやコンバーターを選ぶ前に、ファイルを生成したアプリケーションを特定するか、ファイルシグネチャを調べてください。すべての DAT ファイルを同じように扱うと、デコードに失敗したり、任意のバイナリデータを誤って解釈したりするおそれがあります。
出典
- file(1) マニュアルページ:ファイルシステム、マジック、言語のテスト
- file マジックデータベース、Magdir/riff:RIFF CDXA でラップされた MPEG-1 のエントリー
- file マジックデータベース、Magdir/windows:dat 拡張子を使う Windows 形式
- file マジックデータベース、Magdir/mail.news:TNEF シグネチャのエントリー
- MPlayer ドキュメント、第 3.6 節、VCD 再生:VCD の構造と .DAT ファイル
- GNU VCDImager マニュアル(Texinfo ソース):ディレクトリ構造( /MPEGAV と /EXT のエントリー)と cdxa2mpeg、vcdxrip ツール
- vcdxrip(1)、GNU VCDImager マニュアルページ
- 米国議会図書館の形式解説 fdd000485:Transport Neutral Encapsulation Format(TNEF)
- RFC 2046、セクション 4.5.1:Octet-Stream サブタイプ