Transloadit の S3 再帰インポート機能の紹介
/s3/import の Robotに追加した新機能をご紹介します。これまでは、Amazon S3 バケットのファイルを再帰的にインポートして Transloadit で利用する方法はありませんでした。通常、フォルダーごとにAssembly Stepで指定する必要があり、かなりの手間がかかる場合がありました。
Transloadit では、作業をより簡単にするための改善を常に模索しています。S3 の再帰インポート機能により、深い階層のフォルダーはもちろん、S3 バケット全体も一度にインポートでき、作業がぐっと便利になります!

どのように動作するのか?
これまでと同じように、Robotに
path パラメーターを指定できます。recursive: false の場合(後方互換性を維持するため、デフォルトは false)、そのパスが示すフォルダーに直接含まれるファイルだけをインポートします。そのパスのサブフォルダー内にあるファイルは含まれません。recursive: true の場合は、サブフォルダー内のファイルもインポートします。
さらに、path: '/'、'recursive': true を指定すると、S3 バケット全体をインポートできるようになりました。便利ですね!
デフォルトでは、Robotは一回の呼び出しで千個のファイルをインポートします。ただし、
page_numberとfiles_per_pageパラメーターでページネーションを利用できます。大量のファイルをインポートする際に、Robotでページネーションを利用する場合は、インポート中のパスに途中でファイルが追加されないようにしてください。追加されると、ページネーションによって一部のファイルが取りこぼされる場合があります。
Template
{
"steps": {
"imported": {
"robot": "/s3/import",
"result": true,
"credentials": "s3_cred",
"path": "/",
"recursive": true
},
"resized": {
"use": ["imported"],
"robot": "/image/resize",
"result": true,
"height": 130,
"imagemagick_stack": "v2.0.3",
"width": 130,
"zoom": false
},
"exported": {
"use": ["imported", "resized"],
"robot": "/s3/store",
"credentials": "s3_cred",
"path": "${file.original_path}-resized@130/${file.basename}.${file.ext}"
}
}
}
上記のAssembly Instructionsは、/s3/import のRobotでファイルをインポートし、リサイズする典型的な設定です。再帰インポート用の処理設定と、通常のインポート用の処理設定では、主に次の二つのパラメーターが異なります。
"recursive": trueの指定pathパラメーターに S3 バケットのルートを指定
処理が完了すると、インポートしたすべてのファイルが Assemblyの結果 JSON に表示されます。
ページネーション対応
前述のとおり、/s3/import の Robotは、一度に千個のファイルを処理します。では、最初の千個や、千個ずつに分けた十番目のバッチをインポートする必要がない場合は、どうすればよいでしょうか。このような場合に役立つページネーション機能を用意しました。Robotがインポートを開始するページを、正確に指定できるようになりました。以下のAssembly Instructionsをご覧ください。
{
"steps": {
"imported": {
"robot": "/s3/import",
"result": true,
"credentials": "s3_cred",
"path": "/",
"recursive": true,
"page_number": 10,
"files_per_page": 500
},
"resized": {
"use": ["imported"],
"robot": "/image/resize",
"result": true,
"height": 130,
"imagemagick_stack": "v2.0.3",
"width": 130,
"zoom": false
},
"exported": {
"use": ["imported", "resized"],
"robot": "/s3/store",
"credentials": "s3_cred",
"path": "${file.original_path}-resized@130/${file.basename}.${file.ext}"
}
}
}
この例では、Robotに十ページ目から開始し、一ページにつき五百個のファイルを再帰的にインポートするよう指定しています。
特に注意する点は次のとおりです。
- 範囲外のページ番号を指定すると、Robotは結果を返しません。
files_per_pageパラメーターに 1000 を超える値を指定すると、検証エラーが発生します。- 再帰インポートを利用すると、すべてのファイルがアルファベット順にインポートされます。
今回は以上です。ぜひインポートにお役立てください!ご質問、ご意見、ご不明な点がありましたら、お知らせください。
