/document/ extract で PDF からテキストと画像を抽出
ユーザーがアップロードする PDF。その中のテキストは、検索インデックスや RAG パイプライン、コンプライアンス用アーカイブでも必要になります。Assembly に Step を 1つ追加するだけで、PDF のテキストを埋め込み画像とともに取得できます。ページ単位や JSON 形式での取得も可能です。別途抽出サービスを運用せずに、その結果を既存のツールに渡せます。
🤖 /document/extract Robot が一般提供になりました。
活用例
- 検索。 各ページのテキストをインデックス化し、検索結果から契約書の 7 ページ目へ直接リンクできます。
- RAG と LLM パイプライン。 ページは埋め込み用のチャンクとして自然な区切りになり、解析サービスを自分で運用する必要もありません。
- コンプライアンス用アーカイブ。 各原本とともにプレーンテキストのコピーを保存し、保存管理やディスカバリーのツールで読み取れるようにします。
- フォームの自動入力。 アップロードした文書のテキストからフィールドに事前入力します。請求書番号や合計金額など、名前の付いたフィールドを抽出するには、文書インテリジェンスパイプラインの例のように、テキストを LLM に渡します。
Robot なので、ほかのファイル処理と同じ
Assembly 内で実行されます。アップロードが到着すると、🤖 /document/thumbs がプレビューを生成し、/document/extract
がテキストを読み取り、🤖 /s3/store などのストレージ用 Robot が、原本、プレビュー、テキストをすべて保存します。アプリ側で個別のサービスを連携させる代わりに、単一の Assembly の結果を受け取れます。
抽出対象
- PDF のテキストレイヤーのテキスト。 デフォルトの動作です(
text_method: "native")。Poppler のpdftotextをレイアウトモードで使うため高速で、OCR 料金もかからず、空白を使って段組みや表の行の配置を維持します。text_formatには"txt"または"json"を、text_granularityには"document"(結果を 1件取得)または"page"(ページごとに 1件の結果を取得)を選びます。 - スキャン文書のテキスト。
text_method: "auto"を指定すると、テキストレイヤーのない PDF は 🤖 /document/ocr に渡されます。認識されたテキストにはocr_provider: "gcp"とtext_format: "txt"を使います。text_method: "ocr"は常に OCR を使います。 - 埋め込み画像。 写真、スキャンした図、ロゴなど、PDF 内に保存されたラスター画像です。同一の画像は重複を除いて返されます(
dedupe_images)。min_image_width、min_image_height、min_image_bytesでアイコンやスペーサーを除外できます。image_formatでは、埋め込み形式の維持(可能な場合のみ)か、PNG または JPEG への変換を選べます。
各抽出結果には meta.document_extract が含まれ、テキストか画像かを識別できます。テキストの場合は、テキストレイヤーと OCR のどちらから取得したかも示します。ネイティブ抽出のページ単位のテキスト結果と画像結果には、ページ情報も含まれます。ページ数、作成者、作成日などの文書全体のメタデータは、PDF に含まれていれば、アップロードの meta に格納されます。
この Robot が返すのはプレーンテキストまたは JSON で、Markdown ではありません。表を行やセルに解析することもありません。ネイティブ抽出では、見出し、リスト、表をレイアウトを維持したテキストとして返します。Markdown を HTML や PDF にレンダリングするには、🤖 /document/convert を使います。/document/extract はページのレンダリングも行いません。その処理は /document/thumbs が担当します。
実際の PDF で試す
デモ入力に用意した 9 ページの PDF、Bitcoin のホワイトペーパーを使います。Node.js 20.10 以降と Transloadit アカウントが必要です。
mkdir pdf-text && cd pdf-text
npm init -y && npm pkg set type=module
npm install @transloadit/node
curl -fsSLo bitcoin.pdf https://demos.transloadit.com/inputs/bitcoin.pdf
Console の Auth Key と Secret を .env ファイルに記述します。
TRANSLOADIT_KEY=MY_AUTH_KEY
TRANSLOADIT_SECRET=MY_SECRET_KEY
以下の Assembly Instructions は、同じ Assembly 内でテキストを JSON として抽出し、1 ページ目のプレビューを生成します。instructions.json として保存してください。
{
"steps": {
"text": {
"robot": "/document/extract",
"use": ":original",
"extract": ["text"],
"text_format": "json"
},
"preview": {
"robot": "/document/thumbs",
"use": ":original",
"page": 1,
"width": 600,
"format": "jpg"
}
}
}
スクリプトは PDF をアップロードし、Assembly の完了を待って JSON をダウンロードし、ページごとに 1 行出力します。
import { readFile } from 'node:fs/promises'
import { Transloadit } from '@transloadit/node'
const client = new Transloadit({
authKey: process.env.TRANSLOADIT_KEY,
authSecret: process.env.TRANSLOADIT_SECRET,
})
const assembly = await client.createAssembly({
files: { document: './bitcoin.pdf' },
params: JSON.parse(await readFile('./instructions.json', 'utf8')),
waitForCompletion: true,
})
const res = await fetch(assembly.results.text[0].ssl_url)
if (!res.ok) throw new Error(`Could not download the text: HTTP ${res.status}`)
const { pages } = await res.json()
for (const { page, text } of pages) {
const words = text.split(/\s+/).filter(Boolean).length
const firstLine = text.trim().split('\n')[0].replaceAll(/\s+/g, ' ')
console.log(`Page ${page}: ${words} words, starts with "${firstLine.slice(0, 50)}"`)
}
console.log(`Preview of page 1: ${assembly.results.preview[0].ssl_url}`)
$ node --env-file=.env extract.js
Page 1: 461 words, starts with "Bitcoin: A Peer-to-Peer Electronic Cash System"
Page 2: 430 words, starts with "2. Transactions"
Page 3: 526 words, starts with "4. Proof-of-Work"
Page 4: 488 words, starts with "New transaction broadcasts do not necessarily need"
…
Page 9: 159 words, starts with "References"
Preview of page 1: https://…/d650f05c….jpg
当社の Node.js 20.10 を使った本番環境でのテストでは、アップロードと処理に約 14 秒かかりました。所要時間は変動します。text Step が生成した JSON ファイル、bitcoin-text.json の冒頭は次のとおりです。
{
"text": " Bitcoin: A Peer-to-Peer Electronic Cash System\n\n …",
"pages": [
{
"page": 1,
"text": " Bitcoin: A Peer-to-Peer Electronic Cash System\n\n … Abstract. A purely peer-to-peer version of electronic cash would allow online\n …"
},
{
"page": 2,
"text": "2. Transactions\nWe define an electronic coin as a chain of digital signatures. …"
}
// … pages 3 to 9
]
}
トップレベルの text には文書全体が入り、改ページ文字(\f)でページが区切られます。pages には同じテキストが分割済みで格納され、ページごとにインデックス化や埋め込みを行えます。結果の URL は一時的なものなので、ファイルを保存しておくにはストレージ用の Step を追加してください。
画像の抽出
このホワイトペーパーの図はベクター描画のため、画像の抽出を指定しても何も返りません。テストには Word から書き出した PDF のほうが適しています。デモ用に用意した AWS の Architecting for the Cloud ホワイトペーパーは 42 ページで、全ページにロゴがあり、構成図が 1 点含まれています。
{
"steps": {
"images": {
"robot": "/document/extract",
"use": ":original",
"extract": ["images"],
"min_image_width": 300
}
}
}
この Step は、17 ページ目の 1,016 × 594 の図を単一の PNG として返します。重複排除前の PDF には、42 個のロゴのコピーを含む 43 個のラスター画像があります。透明度マスクはデフォルトで除外されます(include_image_masks: false)。重複排除で繰り返し登場するロゴをまとめ、min_image_width でそのロゴを除外します。独立した透明度マスクも必要な場合は、include_image_masks: true を設定してください。
スキャン文書とほかの文書形式の処理
テキストレイヤーのないスキャン済みの契約書では、text_method を
"auto" に設定します。ネイティブ抽出でテキストが見つからない場合に限り、Robot は OCR にフォールバックします。
{
"steps": {
"text": {
"robot": "/document/extract",
"use": ":original",
"extract": ["text"],
"text_method": "auto",
"text_format": "txt",
"ocr_provider": "gcp"
}
}
}
この処理設定を、ホワイトペーパーの原本と、それをスキャンした 9 ページの文書に対して実行しました。原本はネイティブ抽出で読み取られ、アップロードを含めて約 2 秒かかりました。スキャン文書は OCR にフォールバックし、約 12 秒かかり、結果には
"method": "ocr" と記録されました。所要時間は文書やプロバイダーによって変動します。
この Robot は PDF のみを読み取り、ほかのファイルはスキップします。Word、PowerPoint、Excel のアップロードは、まず /document/convert で変換し、/document/extract でその Step を参照するようにします。
{
"steps": {
"pdf": {
"robot": "/document/convert",
"use": ":original",
"format": "pdf"
},
"text": {
"robot": "/document/extract",
"use": "pdf",
"extract": ["text"],
"text_format": "json"
}
}
}
制限と料金
page_range(例:"1,3-5")で必要なページだけを処理対象にできます。最大 1,000 ページを選択できます。JSON 出力とページ単位のテキスト出力で扱えるのは、ジョブごとに最大 1,000 ページの選択範囲です。page_rangeとpassword(暗号化 PDF 用)は、ネイティブテキストと埋め込み画像の抽出に適用されます。ページ単位のテキスト出力にはtext_method: "native"が必要です。OCR は文書全体を処理し、これらのオプションとの併用や暗号化 PDF の読み取りはできません。"auto"はページ単位ではなく文書単位で判断します。入力されたテキストのページとスキャンしたページが混在する PDF では、ネイティブテキストが優先され、スキャンしたページは空のままになります。そのようなファイルには"ocr"を使ってください。- OCR のテキストには
text_format: "txt"を使います。上記のtextとpagesの JSON 構造は、ネイティブ抽出用です。 - ベクター画像、グラフ、ページの背景は、埋め込み画像ではないことが多いため、抽出されません。これらには
/document/thumbsを使ってください。
ネイティブ抽出では、入力と出力のバイト数がプランの使用量に計上され、文書ごとの最小計上量は 1 MiB です。今回の 9 ページの例の text Step は、この最小値の 1 MiB として計上されました。OCR を実行すると、ページ単位の料金が加算されます。/document/ocr の料金をご覧ください。
利用開始
/document/extract はすべてのアカウントで利用できます。パラメーターリファレンスを確認して既存の Template に Step を追加するか、無料アカウントを作成して上記の例を実行してください。文書の処理に必要な機能がまだこの Robot にない場合は、お知らせください。
