PDF とは
Portable Document Format は、ISO 32000 として標準化された形式で、アプリケーションソフトウェア、ハードウェア、OS に依存せず、固定レイアウトの文書を記述します。PDF には、テキスト、フォント、グラフィックス、フォーム、注釈、埋め込みファイルを含められます。
PDF の仕組み
PDF は、コンテンツストリーム、リソース、フォント、画像、注釈、文書構造を含む、ページ指向のオブジェクトグラフをシリアライズします。リーダーは相互参照情報から間接オブジェクトの位置を特定できます。また、増分更新では、既存のバイトを書き換えずに変更を追記できます。同じページに、テキストオブジェクトやベクター描画と、スキャンされたラスターコンテンツが混在する場合があります。そのため、見た目が似ていても、抽出のしやすさやアクセシビリティが同じとは限りません。文書処理パイプラインでは、実際の機能と準拠目標に応じて、レンダリング、解析、最適化、署名、アーカイブの処理を選択します。
要点
- PDF の増分保存では、変更されたオブジェクト、新しい相互参照セクション、新しいトレーラーを追記し、既存のすべてのバイトをそのまま残します。PDF Reference には、追記されたセクションを削除すれば保存済みの変更を元に戻せること、削除されたオブジェクトもファイル内に残り、削除済みとマークされるだけであることが記載されています。したがって、最新のリビジョンで削除または覆い隠されたコンテンツも、古いオブジェクトを除いてファイルを書き直さない限り、復元される可能性があります。
- 署名済み PDF は、既存のバイトを少しでも変更すると署名が無効になるため、増分更新でのみ変更できます。再圧縮や最適化など、ファイルを書き直す処理を行うと署名は無効になります。そのような処理を追加する前に、署名を維持する必要があるかどうかを判断してください。
- テキストの表示と抽出では、使用するデータが異なります。ビューアーにはグリフだけで十分ですが、検索、コピー、インデックス作成には文字コードから Unicode への対応付けが必要です。この対応付けは、標準エンコーディング、
ToUnicodeCMap、またはActualTextから得られます。対応付けがないと、ページは正しく表示されても、抽出時には文字が誤ったり欠落したりします。フォントを埋め込んでも、この問題は変わりません。pdfminer.six のドキュメントでは、簡単なテストとして、ビューアーからエディターにテキストをコピーする方法を紹介しています。結果が文字化けしている場合、抽出ライブラリでもそれ以上の結果は得られません。スキャンされたページにはテキストオブジェクトがまったくないため、OCR が必要です。 - PDF/A は ISO 19005 のプロファイル群であり、ファイル拡張子ではありません。パート 1 から 3 では、すべてのフォントの埋め込み、デバイスに依存しない色、標準に基づくメタデータが必須で、暗号化、音声、動画、JavaScript は禁止されています。そのため、フォントを埋め込むだけでは準拠したファイルにはなりません。ファイルは XMP メタデータ(
pdfaid:partとpdfaid:conformance)でパートとレベルを宣言します。宣言どおりに準拠しているかを確認するには、veraPDF などの検証ツールが必要です。レベル B が対象とするのは外観のみなので、スキャンされたページから作成したレベル B のファイルには、抽出可能なテキストがない場合があります。 %PDF-のヘッダー行が、常にファイルのバージョンを示すとは限りません。PDF 1.4 以降では、文書カタログ内のVersionエントリーで上書きできます。増分更新でバージョンを引き上げる際には、この仕組みを使用します。ISO 32000-1 は PDF 1.7 を標準化しました。ISO 32000-2 は、2017 年に初めて発行され、2020 年に改訂され、PDF 2.0 を定義しています。
PDF が重要になる場面
サムネイル作成、抽出、結合、最適化の処理を選ぶ前に、PDF の実際の内容を確認してください。埋め込みフォント、インタラクティブ機能、暗号化、スキャンされたページによって、互換性が制限されたり、専用の処理が必要になったりする場合があります。
Transloadit による PDF 処理
Transloadit の文書処理 Robot は、PDF の入力または出力に対応しています。/document/thumbs はページを画像としてレンダリングし、/document/extract は選択可能なテキストと埋め込みラスター画像を返します。/document/ocr はスキャンされた文書内のテキストを認識し、/document/split と /document/merge はページの抽出と連結を行います。/document/optimize はファイルサイズを削減し、/document/convert は他の文書形式から PDF を生成します。
/document/extract のネイティブテキストモードでは、スキャンされた PDF から返されるテキストはごくわずかか、まったくありません。また、OCR モードはパスワードと併用できません。/document/convert はファイルを PDF に変換するもので、PDF から他の形式に変換するものではありません。Robot のドキュメントには PDF/A 出力や署名の維持について記載がないため、どちらにも対応していると想定しないでください。