ジャストインタイムエンコードとは?
ジャストインタイムエンコードは、解像度、コーデック、品質の全バリエーションを事前に生成するのではなく、要求されたメディアの派生版をオンデマンドで生成します。その結果は、後続のリクエスト向けにキャッシュされる場合があります。
ジャストインタイムエンコードの仕組み
ジャストインタイム方式のシステムでは、配信 URL の背後にエンコーダーを配置します。リクエストでソースと処理設定を指定すると、キャッシュに保存済みの結果があるか確認し、キャッシュミス時にのみエンコードを実行します。その後、出力を返し、後続のリクエスト向けに保存します。このキャッシュには、エンコーダーの手前にある CDN、サービスが独自に管理するストレージ、またはその両方を使います。どちらもないエンコーダーはリクエストのたびに同じ処理を繰り返し、保存済みの結果は有効期限が切れるかキャッシュから削除されるまでしか再利用されません。画像の場合、処理単位はひとつの URL です。動画の場合、実際の処理単位はファイル全体ではなく、アダプティブストリームのセグメントです。HLS プレーヤーは、まずプレイリストを要求し、サービスはそれをその場で生成します。続いてプレーヤーが短いセグメントを要求し、各セグメントは初めて要求された時点でエンコードされます。エンコードされるのは要求された派生版と時間範囲のみです。ただし、プレーヤーは再生位置より先のセグメントを読み込むため、最終的に誰も視聴しないセグメントも含まれる場合があります。Mux はこれをジャストインタイムトランスコードと呼び、ファイルの残りの処理が完了する前にトランスコーダーからフレームをストリーミングすると説明しています。
要点
- ジャストインタイムパッケージングも同じものですか。いいえ。ジャストインタイムパッケージングは、既存のレンディションをプレーヤーが要求するストリーミング形式に再パッケージします。AWS Elemental MediaPackage では、要求元のデバイスと互換性のある形式でマニフェストを作成する処理と説明されています。ソースコンテンツは、ライブ動画では上流のエンコーダーから、オンデマンド動画では Amazon S3 に保存された HLS または MP4 ファイルから取得します。nginx-vod-module では、MP4 ファイルを DASH、HDS、HLS、MSS にその場で再パッケージする処理と説明されています。どちらも新しい解像度やビットレートへのエンコードとは説明されていないため、エンコードラダーは事前に生成する必要があります。ジャストインタイムエンコードでは、その処理も必要になるまで延期します。
- 最初のリクエストにはどのようなコストがかかり、同時に多数届くとどうなりますか。ある出力への最初のリクエストは、ソースの取得とエンコードが完了するまで待機します。以降のリクエストは、結果がキャッシュに残っている間はキャッシュヒットになります。imgproxy のドキュメントでは、CDN は通常、アクセス頻度の低いコンテンツを削除するため、要求頻度の低い出力は複数回エンコードされる場合があると説明されています。同じ出力への初回リクエストが同時に届くと、前段のキャッシュがそれらを一つにまとめるか、imagor 画像サーバーのようにエンコーダー自体が実行中の処理を共有しない限り、それぞれがエンコードを開始する可能性があります。リクエストの集約には条件があります。Cloudflare はデータセンターごとに集約し、NGINX の
proxy_cache_lockはデフォルトで無効です。また、Fastly では、レスポンスがキャッシュ不可だと、待機中のリクエストが順番にオリジンへ送られます。 - エンコード設定を変更すると、キャッシュ済みの出力はどうなりますか。キャッシュキーが変わらない限り、すぐには何も起こりません。保存された結果はキーで検索されます。キーは通常、ソース、処理オプション、出力形式で構成されます。そのため、サーバー側のプリセット、デフォルトの品質設定、透かしを変更しても、リクエストに反映されなければ、古い出力は有効期限が切れるか無効化されるまで残ります。imgproxy は、まさにこの場合に使う URL オプション
cachebusterをドキュメントで説明しています。また、内部キャッシュには手動での無効化機能がなく、背後のストレージに設定した有効期限だけが適用されると記載しています。処理設定を変更した際に URL にバージョンを含めると、新しい出力には即座に新しいキーが割り当てられます。 - エンコードに失敗した場合は、どう扱うべきですか。エラーレスポンスには独自のキャッシュポリシーが必要です。成功した結果と同じ有効期間を付けると、一時的な障害がキャッシュに残ります。imgproxy のあるユーザーは、有効期間が一年の
Cache-Controlヘッダー付きで送信された 504 レスポンスが、下流の NGINX キャッシュに保存されたと報告しています。一方、エラーを一切キャッシュしない場合、不具合のあるソースへのリクエストのたびに、コストの高い失敗処理が繰り返されます。明示的なキャッシュヘッダーがない場合、HTTP では、ヒューリスティックにキャッシュ可能な 404 の保存と再利用は許可されますが、500、503、504 は許可されません。Cache-Controlディレクティブは、この挙動をどちらの方向にも変更します。max-ageまたはpublicはこうしたエラーを保存可能にし、no-storeはあらゆるレスポンスの保存を禁止します。
ジャストインタイムエンコードが役立つ場面
ジャストインタイムエンコードは、どのレンディションやファイルのどの部分が要求されるか予測できない場合に効果を発揮します。たとえば、大半がほとんど視聴されない大規模なアーカイブやユーザーのアップロード、まだ構築していないレイアウトに応じてサイズが決まる画像などです。誰も要求しないエンコードは実行されません。要求頻度の低いコンテンツでは、結果のキャッシュ保持期間によって、再リクエスト時に再びエンコードのコストがかかる頻度が決まります。すべての出力を公開前に用意する必要がある場合、事前のレビューが必要な場合、または最初のリクエストにも以降と同じ速さが求められる場合は、代わりに事前エンコードを使用してください。レンディションラダーが固定されていること自体は、事前エンコードを選ぶ理由にはなりません。ジャストインタイムエンコーダーでも、定義済みのレンディションを配信しながら、誰も要求しないセグメントの処理を省略できます。
Transloadit によるジャストインタイムエンコードの支援
Transloadit は Smart CDN を通じてジャストインタイムエンコードを提供しています。動画では、Robot /video/ondemand が HLS プレイリストとセグメントをオンデマンドで生成します。プレーヤーは tlcdn.com URL からマルチバリアントプレイリストを要求し、各セグメントは最初に要求されたときにエンコードされます。Smart CDN は、後から視聴するユーザーのためにプレイリストとセグメントをキャッシュします。画像やその他のファイルでは、Smart CDN URL はキャッシュミス時に Template を実行し、有効期限が切れるまでキャッシュ済みの結果を配信します。
/video/ondemand のドキュメントでは HLS 出力について説明しています。Robot /file/serve は、結果をキャッシュする期間を設定します。デフォルトでは、CDN には 24 時間、ブラウザーには 72 時間、結果を保持するよう指示します。cache_duration を変更すると、両方の期間が変わります。sign_urls_for でプレイリスト URL に署名する場合、有効期間を短くするとキャッシュの再利用が減り、セグメントの再生成が増える可能性があります。リンク先のページには、Template の編集時にキャッシュ済みの結果がどうなるか、また、セグメントのエンコードに失敗した際にプレーヤーが何を受け取るかは記載されていません。これらの挙動を前提にする前に、両方をテストしてください。
出典
- Mux エンジニアリングブログ:ジャストインタイムトランスコードと省略されるエンコード
- AWS Elemental MediaPackage:概念と用語(ジャストインタイムパッケージング)
- kaltura/nginx-vod-module README:その場での再パッケージとキャッシュの推奨事項
- RFC 8216:HTTP Live Streaming、第 6.3.3 節(クライアントによるセグメントの事前読み込み)
- RFC 9110:HTTP のセマンティクス、第 15.1 節(ヒューリスティックにキャッシュ可能なステータスコード)
- RFC 9111:HTTP キャッシュ(レスポンスの保存と再利用、リクエストの集約、Cache-Control ディレクティブ)
- Cloudflare:リクエストの集約を含むデフォルトのキャッシュ動作
- NGINX ngx_http_proxy_module:proxy_cache_lock と proxy_cache_valid
- Fastly:リクエストの集約
- cshum/imagor のソースコード:同じ結果への同時リクエストで一つの実行中処理を共有
- imgproxy:内部キャッシュのキー、有効期限、制限
- imgproxy:cachebuster を含む処理オプション
- imgproxy の Issue 686:CDN とキャッシュサーバーにキャッシュを任せる方針についてのメンテナーの説明
- imgproxy の Issue 1677:失敗したリクエストで送信される Cache-Control