Batch Queue とは?

Batch Queue は、リアルタイム処理を必要としない Encoding Jobs 向けの、Transloadit の共有処理レーンです。インポート Robot が 1 つの Assembly で複数のファイルを取り込む場合、または Step がその Assembly Instructions 内で "queue": "batch" を指定してこのキューの使用を選択した場合、Jobs はこのキューに入ります。

Batch Queue の仕組み

Batch Queue は、スループット重視のメディア処理を、遅延に敏感な処理から分離します。複数のファイルを取得するインポート Step は自動的にバッチ処理とされ、単一ファイルのインポートは Live Queue に残ります。Step ごとのキュー設定では、ライブからバッチへの優先度引き下げのみが許可され、引き上げはできません。処理操作そのものは変わらず、リソースが割り当てられるタイミングだけが異なります。プランのバッチ Job スロット数を超えた処理は、順次バックアップキューに回され、スロットが空くと再びキューに入ります。これは意図的に処理をまとめるバッチ化ではなく、超過分への対処です。

要点

  1. キューへの配置によって変わるのはスケジューリングの優先度であり、Assembly の処理設定の意味ではありません。そのため、同じワークフローでも、待ち時間が長くなった後に同等の出力を得られます。
  2. 未処理の蓄積量と処理コストの両方が完了時間に影響します。Assembly ごとにファイルサイズや処理グラフが異なる場合、待機中の Assembly 数だけでは精度の低い見積もりになります。
  3. 処理能力の競合によりバッチの開始時刻と終了時刻が変動するため、下流システムでは固定の待ち時間ではなく、完了イベントやステータス確認を使う必要があります。

Batch Queue が役立つ場面

遅延を許容できる大量処理は Batch Queue に送り、緊急の Job が必要とする Priority Job Slot を消費しないようにしてください。バッチ Job は共有の Live Queue が空のときにのみ取り出されるため、利用側では後続処理をスケジュールする際に、完了までの時間が長くなり、予測しにくくなることを許容する必要があります。

メディアの知識を実用的なパイプラインに

単一の宣言的 API で、アップロード、処理、AI、ストレージ、配信を連携できます。エンコードスタックの管理、スケーリング、形式の変化への対応はお任せください。

Transloadit を無料で試す