動画機能の新情報:トランジション、チャプター、CMAF など
ここ数か月で、動画関連の機能をいくつか追加しました。お客様の要望から生まれたものもあります。まだ紹介していなかったので、ここでまとめてご紹介します。各機能には、公開前に本番環境で実行した Assembly Instructionsを添えています。
クリップ間のクロスフェード
🤖 /video/concat は動画を順番に連結します。transition を crossfade または fade_to_black に設定すると、映像が瞬時に切り替わるのではなく、クリップ同士が滑らかに重なりながら切り替わります。
{
"steps": {
"first": {
"robot": "/http/import",
"url": "https://demos.transloadit.com/inputs/big-buck-bunny-10s.mp4"
},
"second": {
"robot": "/http/import",
"url": "https://demos.transloadit.com/inputs/waves10.mp4"
},
"concatenated": {
"robot": "/video/concat",
"use": {
"steps": [
{ "name": "first", "as": "video_1" },
{ "name": "second", "as": "video_2" }
]
},
"transition": "crossfade",
"transition_duration": 1,
"ffmpeg_stack": "v7"
}
}
}
映像とともに音声もクロスフェードします。次の画像は、トランジションの直前、途中、直後のフレームです。

注意点は次のとおりです。
transition_durationの単位は秒で、デフォルトは1です。各ペアの短い方のクリップの長さの半分が上限です。- トランジション中はクリップが重なるため、出力は短くなります。今回の 10秒と 13秒のクリップでは、22秒の動画になりました。
fade_to_blackでも同様です。 - トランジションを加えると動画を再エンコードするため、ストリームをそのままコピーできる単純な連結よりも処理に時間がかかります。
- 🤖 /video/merge も同じ二つのパラメーターに対応していますが、クリップの連結には
/video/concatが適しています。サイズやフレームレートが異なるクリップは、先に仕様をそろえてから処理し、出力も MP4 に維持します。
連結した動画のチャプターマーカー
イントロ、本編、アウトロを連結する際に chapter_markers: true を設定すると、チャプター対応のプレーヤーで各パートに直接移動できます。
{
"steps": {
"intro": {
"robot": "/http/import",
"url": "https://demos.transloadit.com/inputs/big-buck-bunny-10s.mp4"
},
"main": {
"robot": "/http/import",
"url": "https://demos.transloadit.com/inputs/waves10.mp4"
},
"outro": {
"robot": "/http/import",
"url": "https://demos.transloadit.com/inputs/fake-ad.mp4"
},
"concatenated": {
"robot": "/video/concat",
"use": {
"steps": [
{ "name": "intro", "as": "video_1" },
{ "name": "main", "as": "video_2" },
{ "name": "outro", "as": "video_3" }
]
},
"chapter_markers": true,
"transition": "crossfade",
"transition_duration": 1,
"ffmpeg_stack": "v7"
}
}
}
各チャプターの名前には、入力ファイル名から拡張子を除いたものが使われます。ffprobe で、出力内のチャプターを確認できます。
$ ffprobe -v error -show_entries chapter=start_time,end_time:chapter_tags=title -of compact big-buck-bunny-10s_waves10_fake-ad.mp4
chapter|start_time=0.000000|end_time=9.000000|tag:title=big-buck-bunny-10s
chapter|start_time=9.000000|end_time=21.000000|tag:title=waves10
chapter|start_time=21.000000|end_time=26.000000|tag:title=fake-ad
わかりやすいチャプタータイトルにするには、それに合わせて入力ファイルに名前を付けてください。トランジションを追加した場合も、チャプターの時刻には重なりが考慮されるため、各マーカーは対応するクリップの位置に合います。
字幕の太字、斜体、縁取り
🤖 /video/subtitle は字幕を映像に焼き込みます。新たに bold、italic、outline_width(0~10ピクセル)でスタイルを設定できるようになりました。この Assembly は、アップロードされた .srt ファイルと、インポートした動画を入力として使います。
{
"steps": {
":original": {
"robot": "/upload/handle"
},
"video": {
"robot": "/http/import",
"url": "https://demos.transloadit.com/inputs/fake-ad.mp4"
},
"subtitled": {
"robot": "/video/subtitle",
"use": {
"steps": [
{ "name": "video", "as": "video" },
{ "name": ":original", "as": "subtitles" }
]
},
"subtitles_type": "burned",
"preset": "empty",
"font_size": 22,
"bold": true,
"outline_width": 4,
"ffmpeg_stack": "v7"
}
}
}
上半分はデフォルトのスタイルです。下半分は bold: true に outline_width: 4 を組み合わせたもので、明るい背景でも読みやすさを保ちます。

スタイルが適用されるのは焼き込み字幕だけで、字幕トラックには適用されません。"preset": "empty" は入力の MP4 形式を維持します。プリセットを指定しない場合、Robot は古い FLV プリセットを使用します。
HLS の多言語音声
一つの動画を複数の言語で提供する際、言語ごとに動画のビットレートラダーを用意する必要はなくなりました。🤖 /video/adaptive に audio_group: true を指定すると、音声のみのファイルが切り替え用の音声トラックとしてパッケージ化され、各動画バリアントから参照されます。視聴者は動画を再読み込みせずに、プレーヤーで言語を切り替えられます。
{
"steps": {
"video": {
"robot": "/http/import",
"url": "https://demos.transloadit.com/inputs/big-buck-bunny-10s.mp4"
},
"audio_en": {
"robot": "/http/import",
"url": "https://demos.transloadit.com/inputs/joakim_karud-rock_angel.mp3"
},
"audio_de": {
"robot": "/http/import",
"url": "https://demos.transloadit.com/inputs/german-anthem.mp3"
},
"video_480p": {
"use": "video",
"robot": "/video/encode",
"preset": "hls/480p",
"ffmpeg_stack": "v7"
},
"video_720p": {
"use": "video",
"robot": "/video/encode",
"preset": "hls/720p",
"ffmpeg_stack": "v7"
},
"aac_en": {
"use": "audio_en",
"robot": "/audio/encode",
"preset": "aac",
"ffmpeg_stack": "v7",
"ffmpeg": {
"t": 10,
"metadata:s:a:0": "language=eng"
}
},
"aac_de": {
"use": "audio_de",
"robot": "/audio/encode",
"preset": "aac",
"ffmpeg_stack": "v7",
"ffmpeg": {
"t": 10,
"metadata:s:a:0": "language=deu"
}
},
"hls": {
"use": {
"steps": ["aac_en", "aac_de", "video_480p", "video_720p"],
"bundle_steps": true
},
"robot": "/video/adaptive",
"technique": "hls",
"audio_group": true
}
}
}
デモファイルは音楽ですが、英語とドイツ語の音声だと考えてください。t: 10 で動画の長さに合わせてトリミングします。各トラックの言語は language タグから取得し、このタグは metadata:s:a:0 オプションで設定します。すでに言語タグが付いているファイルには、このオプションは不要です。生成されるマスタープレイリストではトラックにわかりやすい名前が付き、use 内の最初の音声ファイルがデフォルトになります。トラックにタイトルタグがある場合はそのタイトルを名前に使い、ない場合は Robot が言語名を使います。AUTOSELECT=YES により、プレーヤーは視聴者の言語に合うトラックを選択できます。また、各動画バリアントの BANDWIDTH には、その音声も含まれます。
#EXT-X-MEDIA:TYPE=AUDIO,GROUP-ID="group_audio",NAME="English",DEFAULT=YES,AUTOSELECT=YES,LANGUAGE="eng",CHANNELS="2",URI="128515_44100/128515_44100.m3u8"
#EXT-X-MEDIA:TYPE=AUDIO,GROUP-ID="group_audio",NAME="German",DEFAULT=NO,AUTOSELECT=YES,LANGUAGE="deu",CHANNELS="2",URI="128539_44100/128539_44100.m3u8"
#EXT-X-STREAM-INF:BANDWIDTH=797670,AVERAGE-BANDWIDTH=797670,RESOLUTION=852x480,CODECS="avc1.4d401f,mp4a.40.2",AUDIO="group_audio",FRAME-RATE=25
852x480_616860_25/852x480_616860_25.m3u8
audio_group を使う場合、動画バリアント自体には音声が含まれないため、すべての言語を個別の音声ファイルとして指定してください。プレイリストからセグメントを見つけられるように、Robot のドキュメントに従い、パスに ${file.meta.relative_path} を含めて出力を保存してください。
CMAF:HLS と DASH で共通のセグメントを使用
Apple デバイスは HLS を再生し、ほかの多くのプレーヤーは MPEG-DASH を優先します。technique: "cmaf" を指定すると、/video/adaptive は fragmented MP4 セグメントを一度だけ書き出し、同じセグメントを参照する HLS プレイリストと DASH マニフェストも生成します。動画を二重に保存、キャッシュする必要がなくなります。
{
"steps": {
"imported": {
"robot": "/http/import",
"url": "https://demos.transloadit.com/inputs/big-buck-bunny-10s.mp4"
},
"encoded_480p": {
"use": "imported",
"robot": "/video/encode",
"preset": "hls/480p",
"ffmpeg_stack": "v7"
},
"encoded_720p": {
"use": "imported",
"robot": "/video/encode",
"preset": "hls/720p",
"ffmpeg_stack": "v7"
},
"cmaf": {
"use": {
"steps": ["encoded_480p", "encoded_720p"],
"bundle_steps": true
},
"robot": "/video/adaptive",
"technique": "cmaf"
}
}
}
出力には、HLS 用の playlist.m3u8、DASH 用の playlist.mpd、両者で共有する .m4s セグメントが含まれます。私たちのテストでは、FFmpeg で両方のマニフェストをエラーなくデコードできました。hls_playlist_name と playlist_name で、この二つのマニフェストの名前を変更できます。
標準の hls/480p と hls/720p プリセットは、CMAF ラダー内で併用できます。480p の幅を偶数に丸めることで生じる、わずかなアスペクト比の違いも処理できます。
あわせて、/video/adaptive が HLS と CMAF をパッケージ化する際、指定された ffmpeg オプションを適用するようになりました。hls_flags や start_number などが対象です。以前は通知せずに無視していました。
空間オーディオ付きの iPhone 動画
最近の iPhone で空間オーディオを有効にして録画した動画には、通常のステレオ AAC と、当社のエンコーディング基盤ではデコードできない Apple Positional Audio の二つの音声トラックが含まれます。少し前までは、後者のトラックがあるとエンコード全体が失敗していました。現在は、/video/encode、🤖 /audio/encode、🤖 /speech/transcribe がデコードできない音声トラックをスキップし、ステレオトラックを使用します。アップロードした iPhone の録画を、一つの Assembly で動画エンコード、音声抽出、文字起こしまで処理できます。
{
"steps": {
":original": {
"robot": "/upload/handle"
},
"video": {
"robot": "/video/encode",
"use": ":original",
"preset": "web/mp4/240p",
"ffmpeg_stack": "v7"
},
"audio": {
"robot": "/audio/encode",
"use": ":original",
"preset": "aac",
"ffmpeg_stack": "v7"
},
"transcript": {
"robot": "/speech/transcribe",
"use": ":original",
"provider": "aws",
"format": "text",
"source_language": "en-US"
}
}
}
空間オーディオ自体は保持されず、エンコード結果にはステレオミックスが含まれます。ファイル内の音声トラックが空間オーディオだけの場合は、デコードできる音声がないため、音声エンコーディングと文字起こしは引き続き失敗します。
はじめに
これらの機能は、どのプランでも利用できます。無料の Community プランでは音声と動画の出力がトリミングされるため、トランジションや後半のチャプターが試用時の出力に含まれない場合があります。🤖 /video/concat、🤖 /video/subtitle、🤖 /video/adaptive の Robot ドキュメントに全パラメーターを掲載しています。無料アカウントを作成してお試しください。
