発話中の単語を強調する SNS 風字幕
SNS の短い動画は音声をオフにして視聴されることが多いため、字幕が内容を伝える役割を担います。画面下部に細い文字で文全体を表示する普通の字幕は、読み飛ばされがちです。視線を引きつける字幕は、一度に数語を大きな太字で表示し、発話中の単語を強調します。
これまでは、こうした字幕にするには動画エディターや専用の字幕ツールが必要でした。今ではコマンドだけで実現できます。動画をアップロードすると、字幕が焼き込まれて返ってきます。
Transloadit の共同創業者 Kevin の動画です。以下のコマンドで字幕を付け、Transloadit Storage から配信しています。音声をオンにして再生し、比べてみてください。
コマンドだけで実行
npx -y @transloadit/node assemblies create \
--template builtin/caption-video@0.0.2 \
--field style=social \
--field vocabulary=Transloadit \
-i video.mp4 -o out/
builtin/caption-video は、すぐに使える Template です。🤖 /speech/transcribe で動画を文字起こしし、🤖 /video/subtitle で字幕を焼き込みます。out/ では、字幕付き動画に加えて、単語ごとのタイムスタンプ付き JSON と SRT 形式の文字起こしも取得できます。そのため、視聴者がオフにできる字幕も提供できます。
--field style=social を省略すると、代わりに通常の字幕になります。

ブランド名を正しい表記に
音声認識は一般的な単語を認識できますが、製品名までは把握していません。上の動画も、ヒントを与えないと「co-founder of Transloaded」と文字起こしされました。--field vocabulary=Transloadit で、認識してほしい語を文字起こしに指定できます。複数の用語は vocabulary=Transloadit,Uppy,tus のようにカンマで区切ります。大文字と小文字を区別せずに完全一致した語は、指定した表記で返されるため、「transloadit」は「Transloadit」になります。
語彙のヒントは、デフォルトのプロバイダーと "provider": "gcp" で使えます。AWS が対応するのは事前に準備した語彙のみです。そのため、"provider": "aws" と組み合わせると、指定した語を黙って無視するのではなく、明確なエラーを返します。
SNS 風スタイルの動作
- 一度に数語を表示。 通常は字幕ごとに最大 3 語を表示します。短いフレーズはまとめて表示することがあり、文末の単語を前の字幕に含めることもあるため、最大で 1 語増える場合があります。文末や 0.4 秒を超える無音区間では、語数の上限に達する前に字幕を区切ります。そのため、文字起こしプロバイダーの区間ではなく、発話のリズムに沿った字幕になります。末尾にある「by」や「to」などの英単語は、可能な場合は次の字幕に移します。「by」で字幕が終わるのではなく、「YOU’RE FREAKED OUT」の次に「BY MY ROBOT」が表示されます。
- 発話中の単語を強調。 発話中の単語が黄色になり、短い無音区間でも次の単語が始まるまで強調表示が続きます。他の単語の位置は変わらないため、読んでいる間に行が動きません。
- どんな背景でも読みやすく。 画面下部の 3 分の 1 の領域に、大文字の Poppins ExtraBold を表示します。太い縁取りと柔らかな影を付けます。
- 縦長、正方形、横長の動画に対応。 デフォルトの自動サイズ調整では、JSON 字幕を縮小するか
2 行に折り返して、単語の途中で改行せずに画面内に収めます。
font_sizeを設定すると、この自動調整が無効になります。 - 短いポップアニメーション。 各字幕は表示時に、120 ミリ秒かけて 85% から本来のサイズまで拡大します。

カスタマイズ
この Template では、次のフィールドを指定できます。
highlight_colorは発話中の単語の色を設定します(デフォルトはFFD60A)。font_color、font_size、border_color、positionは、通常の字幕と同じように動作します。provider、source_language、target_language、vocabularyは、文字起こしを制御します。
デフォルトのプロバイダーは、話されている言語を自動検出します。必要に応じて、target_language に
german などの言語のヒントを指定できます。AWS と GCP では、代わりに source_language を使い、de-DE などの言語コードを指定してください。どちらのフィールドも、音声の翻訳は行いません。
独自の Template への組み込み
独自の Template に字幕機能を追加するには、既存のパイプラインで次の 2 つの Step を連結します。たとえば、Uppy からのアップロード後や、HLS へのエンコード前に配置します。
{
"steps": {
":original": {
"robot": "/upload/handle"
},
"transcribed": {
"use": ":original",
"robot": "/speech/transcribe",
"format": "json",
"vocabulary": ["Transloadit"]
},
"captioned": {
"robot": "/video/subtitle",
"use": {
"steps": [
{ "name": ":original", "as": "video" },
{ "name": "transcribed", "as": "subtitles" }
]
},
"subtitles_type": "burned",
"style": "social",
"preset": "empty",
"ffmpeg_stack": "v7",
"result": true
}
}
}
/video/subtitle は、/speech/transcribe が出力するタイムスタンプ付き JSON を字幕として受け取ります。単語の強調表示、グループ化、大文字化には、この JSON が必要です。SRT と VTT の字幕にも SNS 風のフォントとサイズが適用されますが、元の行分けとタイミングは維持されます。ASS ファイルは元のスタイルを維持します。max_words_per_caption では、字幕ごとに表示する単語数の上限の目安を設定します。そのうえで、前述の SNS 風スタイルのフレーズ調整が適用されます。"preset": "empty" は入力のメディアコンテナーを維持するため、MP4 を入力すると MP4 が返されます。
はじめに
自分の動画で上のコマンドを実行するか、Template Editor で Step を試してみてください。すべてのパラメーターは、🤖 /video/subtitle のドキュメント に掲載しています。
