API とドキュメントを AI ツールで利用しやすくする取り組み
Transloadit は、情報取得機能を持つツールや AI エージェントがドキュメントを利用しやすいように、/llms.txt と /llms-full.txt ファイルを公開しています。これらのファイルは、通常のドキュメントサイトに加えて、Markdown を中心とした入口を提供します。
llms.txt とは?
/llms.txt は、Answer.AI の共同創業者である
Jeremy Howard が 2024年9月に提案した、重要なページの簡潔な Markdown インデックスを公開するためのコミュニティ規約です。レンダリングされた Web サイトよりもシンプルな出発点を情報取得システムに提供し、呼び出し側は、モデルのコンテキストに追加する前に関連するソースページを選択できます。
llms.txt は、SEO や回答のランキングの仕組みではなく、情報取得用のインターフェースとして扱うべきものです。ファイルを公開しても、Google、ChatGPT、その他の製品による発見や利用、サイトのランキングの変化、回答精度の向上は保証されません。どの URL から情報を取得し、返されたコンテンツをどう使うかは、各クローラー、アシスタント、エージェントが判断します。
現在の規約では、情報取得のための小規模なグラフを定義しています。
- パスを対象範囲とする
llms.txtファイルは、主要リソースへの構造化されたリンクと簡潔な概要を提供します。 - ドキュメントページは Markdown 版を公開し、
rel="alternate"とrel="describedby"のリンクは、クライアントが Markdown ページと最も対象範囲の狭いインデックスを見つけるのに役立ちます。
Transloadit は、ドキュメント全体を単一のコーパスとして収録した、従来の実装固有の補助エンドポイント /llms-full.txt も維持しています。これは現在の llms.txt 形式には含まれず、情報取得の出発点としては推奨していません。
開発者にとってなぜ重要なのか?
ツールがこれらのファイルを取得できる場合、Transloadit の実装には次のような実用上の利点があります。
-
予測しやすい入口:レンダリングされたナビゲーションからリンクを探す代わりに、ドキュメントに記載された単一のインデックスから開始できます。
-
コンテキストの選択的な利用:呼び出し側は、ドキュメント全体を単一のプロンプトに入れずに、タスクに関連するページを取得できます。
-
ソースに基づく回答:エージェントは、当社の Robot、パラメーター、ワークフローに関する最新のページを引用できます。ただし、精度は情報取得、モデルの動作、検証に左右されます。
-
解析の負荷軽減:Markdown では、ドキュメントの情報取得に不要なナビゲーション、スタイル、クライアント側のインターフェースの多くを省けます。
この実装には何が含まれるのか?
当社の /llms.txt ファイルは、Transloadit の主要機能について、次の内容を含む簡潔な概要を提供します。
- ファイルのアップロード機能と処理機能の明確な説明
- JSON ベースのワークフロー設定を示す Assembly Instructions の例
- 主要なドキュメントリソースへのリンク
- 利用可能な Robot の網羅的な一覧
より詳細な /llms-full.txt では、さらに次の内容を提供しています。
- Robot の詳細なパラメータースキーマ
- さまざまな連携シナリオに対応するコード例
- Transloadit サービスのあらゆる側面を網羅したドキュメント
AI ツールでの llms.txt の使い方
まず https://transloadit.com/llms.txt を開き、タスクに合ったリンクを選んで、そのページを取得してください。ツールが URL を取得できない場合は、関連する Markdown をプロンプトにコピーするか、ダウンロードしたファイルを添付してください。llms-full.txt を既定で読み込むのは避けてください。通常は、必要な内容に絞ったページのほうがコンテキストの消費量が少なく、検証も容易です。
URL に言及するだけでアシスタントが取得してくれるとは限りません。ツールの情報取得機能やブラウジング機能を確認し、実際に使ったソースページを示すよう依頼してください。
AI が利用しやすい Web を広める取り組みへの参加
私たちは、llms.txt を、ドキュメントの情報取得に役立つ軽量な規約と捉えています。その価値は、ランキング向上への期待ではなく、ツールに安定したソースマップを提供し、モデルのコンテキストに含めるページを開発者が制御できるようにする点にあります。
他のサービスにも、この取り組みに参加し、独自の llms.txt ファイルを実装していただきたいと考えています。提案の詳細は llmstxt.org をご覧ください。
参考資料
- Transloadit llms.txt
- Transloadit llms-full.txt
- llms.txt 提案のドキュメント
- Jeremy Howard の提案
- llms.txt 実装のディレクトリ
- llms.txt ハブ
開発者の皆さまが、この情報取得用インターフェースを Transloadit とどのように活用するか、楽しみにしています。ご意見やご質問は、いつでもコミュニティフォーラム にお寄せください。
