Transloadit で魅力的な音声ビジュアライゼーションを作成
デジタルクリエイターは、視聴者を引き付ける新しい方法を常に探しています。音声コンテンツが再び盛り上がる中、音と映像の体験を高めるツールへの需要も増えています。Spearhead に着想を得て、私たちも動く波形の自動生成に挑戦することにしました。ポッドキャスター、ミュージシャン、コンテンツクリエイターのいずれにとっても、このガイドは音声を魅力的な視覚体験へと変え、コンテンツ戦略を強化する手助けになります。

Template
さっそく Template を見ていきましょう!
{
"steps": {
":original": {
"robot": "/upload/handle"
},
"waveformed": {
"robot": "/audio/waveform",
"use": ":original",
"result": true,
"width": 8000,
"height": 600,
"background_color": "00000000",
"outer_color": "ffffffff",
"center_color": "ffffffff",
"format": "image"
},
"merged": {
"robot": "/video/merge",
"use": {
"steps": [
{
"name": "waveformed",
"as": "image"
},
{
"name": ":original",
"as": "audio"
}
]
},
"result": true,
"ffmpeg_stack": "v5.0.0",
"preset": "ipad-high",
"width": "${file.meta.width}",
"height": "${file.meta.height}"
},
"scroll_waveform": {
"robot": "/video/encode",
"use": "merged",
"ffmpeg_stack": "v5.0.0",
"preset": "empty",
"ffmpeg": {
"vf": "crop=w=800:h=(${file.meta.height}):x='(${file.meta.width}-800)*t/${file.meta.duration}':y=0",
"t": "${file.meta.duration}"
}
},
"transcribed": {
"use": ":original",
"robot": "/speech/transcribe",
"provider": "aws",
"format": "webvtt",
"result": true
},
"subtitle": {
"use": {
"bundle_steps": true,
"steps": [
{
"name": "scroll_waveform",
"as": "video"
},
{
"name": "transcribed",
"as": "subtitles"
}
]
},
"robot": "/video/subtitle",
"ffmpeg_stack": "v5.0.0",
"subtitles_type": "burned",
"preset": "ipad-high",
"result": true
}
}
}
一度に理解するには情報が多いので、各 Step を個別に見ていきます。
まず、音声を波形画像に変換します。/audio/waveform Robot を使えば、音声クリップから幅 8000px の波形画像を作成できます。これだけの幅があれば、画像の横方向に仮想的な表示領域をスクロールさせることで、話し声に合わせて波形が動いているように見せられます。
次に、/video/merge Robot がこの画像に元の音声を追加し、動画を作成します。
続いて、/video/encode Robot の出番です。カスタム FFmpeg パラメーターを使い、元の高さを維持したまま、表示領域を幅 800px に切り抜きます。この表示領域の x 座標は、画像全体の幅から表示領域の幅を引き、時間パラメーター t を動画の総再生時間で割った値を掛けて設定します。t パラメーターは動画内の現在のタイムスタンプです。そのため、x 座標は動画の開始時点では 0 で、そこから徐々に 7200 に近づきます(8000px - 800px で求められます)。
ここまで、かなり盛りだくさんでしたね!Template の仕上げには、密接に関連する 2 つの Robot を使います。/speech/transcribe Robot で字幕ファイルを生成し、/video/subtitle Robot に渡します。
結果
Template の実行結果を見てみましょう。
サンプルファイルを Template に渡した結果
Assembly にかかった時間は、開始から完了まで合計で約 10 秒でした。なかなか見事ですね!
今回のブログはここまでです。このガイドを試して面白い結果が得られたら、ぜひ Twitter で教えてください。Transloadit の創造的な活用方法を見るのを、いつも楽しみにしています。音声波形の生成と可視化に使える別の方法をお探しなら、こちらのデモ (English)もご覧ください!
