音声ファイルまたは動画ファイル内の音声を文字起こし
🤖/speech/transcribe は、音声ファイルまたは動画ファイル内の音声を文字起こしします。

返されたテキストは、アプリケーションで使用するほか、他の Robot に渡せます。たとえば、特定の内容を含む(または含まない)音声ファイルや動画ファイルをフィルタリングしたり、テキストを画像や動画に焼き込んだりできます。
動画への自動字幕付けや、音声を検索可能にすることも、一般的な用途です。
文字起こしで同じ話者を識別するには、speaker_labels を true に設定します。
{
"steps": {
"transcribed": {
"use": ":original",
"robot": "/speech/transcribe",
"provider": "aws",
"format": "json",
"speaker_labels": true,
"max_speakers": 3
}
}
}
話者ラベルは現在、aws、gcp、elevenlabs の各プロバイダーでサポートされています。provider を設定せずに speaker_labels を有効にすると、Transloadit はその Step に
aws を使用します。ただし、vocabulary も指定されている場合は gcp を使用します。ラベルは speaker_1、speaker_2 のように正規化されます。
{
"text": "Hello there. Hi!",
"words": [
{ "text": "Hello", "startTime": 0, "endTime": 0.5, "speaker": "speaker_1" },
{ "text": "there", "startTime": 0.6, "endTime": 1, "speaker": "speaker_1" },
{ "text": "Hi!", "startTime": 1.2, "endTime": 1.8, "speaker": "speaker_2" }
],
"segments": [
{ "text": "Hello there", "startTime": 0, "endTime": 1, "speaker": "speaker_1" },
{ "text": "Hi!", "startTime": 1.2, "endTime": 1.8, "speaker": "speaker_2" }
]
}
他の形式でも話者が表示されます。text は発話ごとに1つの Speaker 1: … 段落を返し、webvtt は各キューを <v Speaker 1> の音声スパンで囲み、srt は話者が交代する際に話者名を表示します。
ElevenLabs
ElevenLabs Scribe(scribe_v2)を使用するには、provider を "elevenlabs" に設定します。発話に加えて、(laughter) や (applause) などの音声イベントにも文字起こし内でタグを付けます。また、source_language を設定しない限り、話されている言語を自動検出します。ファイルの長さは最大 10 時間です。
デフォルトでは、Transloadit は自社の ElevenLabs アカウントを使用し、1分あたり $0.0037 の定価に 30% の手数料を加算して請求します。独自の ElevenLabs アカウントを使用するには、AI Providers タイプの Template 認証情報にキーを elevenlabs_api_key として保存し、credentials で参照します。この場合、ElevenLabs から直接請求され、Transloadit は定価の代わりに、その 30% を手数料として請求します(1分あたり約 $0.0011、Step ごとに最低 $0.0005)。どちらの場合も、Step の通常のデータ量に基づく料金がこれを上回る場合は、そちらが適用されます。ElevenLabs がキーを拒否すると、Step は失敗します。Transloadit が自社のキーにフォールバックすることはありません。
{
"steps": {
"transcribed": {
"use": ":original",
"robot": "/speech/transcribe",
"provider": "elevenlabs",
"credentials": "my_elevenlabs_credentials",
"format": "srt"
}
}
}
使用例
アップロードした音声または動画からフランス語の音声を文字起こしし、テキストファイルに保存する例:
{
"steps": {
"transcribed": {
"format": "text",
"provider": "replicate",
"robot": "/speech/transcribe",
"target_language": "french",
"use": ":original"
}
}
}パラメーター
interpolateboolean | Record<string, boolean>処理設定の各フィールドで Assembly Variables を展開するかどうかを制御します。
デフォルトでは、Robot の処理設定のほとんどのフィールドで Assembly Variables が展開されます。すべての設定フィールドをリテラルテキストとして扱うには、このパラメーターを
falseに設定してください。特定のフィールドだけをリテラルテキストとして扱うには、そのフィールドのパスをfalseに設定してください。デフォルトでリテラルとして扱われる Robot 固有のフィールドで展開を有効にするには、このパラメーターをtrueに設定するか、そのフィールドのパスをtrueに設定してください。pathのようなフィールド名を使用してください。ネストされたオブジェクトには、ffmpeg.vfのようなドット区切りのパスを使用してください。output_metaRecord<string, boolean> | boolean | Array<string>算出に多くの CPU リソースを要するメタデータを指定できます。Assembly の処理速度を維持するため、これらはデフォルトで無効になっています。
画像の場合、このオブジェクトに
"has_transparency": trueを追加すると、画像に透明な部分が含まれるかどうかを抽出できます。"dominant_colors": trueを追加すると、画像から 16 進数のカラーコードの配列を抽出できます。画像の場合、
"blurhash": trueを追加すると、画像のプレースホルダーをコンパクトに表す BlurHash 文字列も抽出できます。画像全体の読み込み中に、ぼかしたプレビューを表示するのに役立ちます。画像の場合、代わりに
"thumbhash": trueを使用すると、base64 エンコードされた ThumbHash をmeta.thumbhashに抽出し、meta.has_alpha(完全に不透明な場合も含め、アルファチャンネルが存在するかどうか)も抽出します。ThumbHash は EXIF の向きを反映したピクセルを表し、アニメーション画像では最初のフレームを使用します。抽出はベストエフォートです。40 メガピクセルを超える画像、非対応の形式、デコードの失敗やデコード処理の上限への到達があった場合、プレースホルダーは生成されません。抽出に成功すると、そのファイルのバイト数の 20% に相当するメタデータ料金が加算されます。無効な場合やハッシュが生成されない場合、ThumbHash の追加料金は発生しません。このオプションは画像を生成する Step に設定してください。たとえば、アップロードされた元画像では
/upload/handle、処理済みの出力では/image/resizeに設定します。/transloadit/storeにのみ設定しても、抽出は要求されません。ストレージは生成元のメタデータを保持します。Transloadit Storage は生成されたハッシュをその不変のバージョンとともに永続化し、保存済みの結果やネイティブのアセット読み取り時に返します。S3 への直接アップロードではプレースホルダーは生成されません。プレースホルダーには画像情報が含まれるため、画像全体と同じアクセス制御で保護してください。動画の場合、
"colorspace": trueパラメーターを追加すると、出力動画の色空間を抽出できます。動画の場合、
"interlaced": trueを追加すると、インターレース動画かどうかも検出できます。これは、低コストの ffprobe のfield_orderフラグと、ソースの先頭フレームに対する処理範囲を制限したidetサンプリング処理を組み合わせ、file.metaの下にinterlaced、field_order、診断用のinterlace_detectionオブジェクトを出力します。この処理は計算コストが高く、それに応じて課金されます。音声の場合、
"mean_volume": trueを追加すると、音声ファイルの平均音量を表す単一の値を取得できます。また、
falseに設定すると、メタデータの抽出をスキップしてトランスコードを高速化できます。user_metaRecord<string, any>(デフォルト:{})出力される各ファイルに、ファイルの内容を変更せずにカスタム JSON メタデータを追加します。ネストしたオブジェクトと配列に対応しています。
継承の動作は Robot によって異なります。値は出力ファイルの既存の
user_metaとマージされ、一致するトップレベルのキーは現在の Step によって置き換えられます。Robot が新しい出力を作成する場合は、必要なキーを明示的に割り当ててください。処理 Step では、
${file.*}は最初の入力を、${result.*}は出力されるファイルを参照します。値は Robot の実行後、後続のメタデータ抽出と一時保存の前に、出力ごとに評価されます。:originalでは、メタデータ抽出の前にアップロードごとに値が評価されます。後続の Step は
${file.user_meta.key}を読み取ります。完全な例と継承ルールについては、カスタムメタデータ を参照してください。resultboolean(デフォルト:false)この Step の結果を Assembly Status JSON に含めるかどうか
queuebatchqueue を 'batch' に設定すると、このステップのジョブの優先度を手動で下げ、キューの待ち時間がゼロである必要のないジョブが優先ジョブスロットを消費しないようにします。
force_acceptboolean(デフォルト:false)通常は無視するファイルタイプを Robot に強制的に受け入れさせます。
デフォルトでは、Robot は認識できないファイルを無視します。たとえば、🤖/video/encodeは入力画像を無視します。
force_acceptパラメーターをtrueに設定すると、Robot に渡されたすべてのファイルを強制的に受け入れさせることができます。通常、この設定はエラーにつながるため、デバッグやエッジケースへの対処にのみ使用してください。ignore_errorsboolean | Array<meta | execute>(デフォルト:[])処理の特定のフェーズでエラーを無視します。
このパラメーターを
["meta"]に設定すると、Robot はメタデータ抽出中のエラーを無視します。このパラメーターを
["execute"]に設定すると、Robot はメイン実行フェーズ中のエラーを無視します。このパラメーターを
trueに設定すると、["meta", "execute"]と同じ動作になり、両方のフェーズでエラーを無視します。usestring | Array<string> | Array<object> | object入力として使用する Step を指定します。
- Step には任意の名前を付けられます。ただし、
":original"は Transloadit が処理するユーザーアップロード用に予約されています。 - 配列を使用して、複数の Step を入力として指定できます。
{ "use": [ ":original", "encoded", "resized" ] } - 入力 Step に
asでタグを付けて、意味上の用途を Robot に伝えることもできます。{ "use": [ { "name": ":original", "as": "image" }, { "name": ":original", "as": "mask" } ] }
ヒントuseについては、通常ここまでの内容で十分ですが、高度な使用例 も参照できます。- Step には任意の名前を付けられます。ただし、
providerauto | aws | elevenlabs | gcp | replicate(デフォルト:"auto")リクエストに基づいて最適なプロバイダーを選択します。
特定のプロバイダーを指定するには、
"aws"、"gcp"、"replicate"、または"elevenlabs"に設定します。"auto"に設定すると、Transloadit はデフォルトで"replicate"を使用し、speaker_labelsが有効な場合は"aws"を使用します。speaker_labelsと空でないvocabularyの両方が設定されている場合、"auto"は"gcp"を使用します。"auto"が"elevenlabs"を選択することはありません。credentialsstring独自の
elevenlabs_api_keyを格納した、AI Providers タイプの Template 認証情報の名前です。"elevenlabs"プロバイダーのみが使用します。vocabularyArray<string>音声認識時に優先する単語やフレーズを、出力で使用したい表記で指定します。たとえば、
["Transloadit", "Uppy", "tus"]は、プロバイダーがブランド名や製品名を認識しやすくします。異なる語句を最大 50 個指定できます。各語句は、前後の空白を除去した後で 1 文字以上 100 文字以下にしてください。制御文字を含めたり、大文字と小文字を区別しない比較で重複する語句を指定したりすることはできません。すべての語句が Whisper のプロンプトの上限内に収まるように、
", "で結合した語句全体を 200 UTF-8 バイト以内にする必要があります。このパラメーターを省略するか、空の配列を指定した場合、認識処理は変わりません。"replicate"、"gcp"、"elevenlabs"でサポートされています。語彙を指定した場合、Replicate はプロンプトに対応した WhisperX large-v3 モデルを使用し、位置合わせ済みの単語タイムスタンプを返します。GCP はインラインで指定されたフレーズヒントの重みを高めます。ElevenLabs はキータームプロンプティングを使用します。各語句は最大 49 文字かつ五単語以内で、ElevenLabs の定価に1分あたり $0.0008 が加算されます。語彙を指定して"aws"を明示的にリクエストすると、AWS では事前に作成した Custom Vocabulary が必要なため、検証エラーが返されます。代わりに"auto"、"replicate"、または"gcp"を使用してください。ヒントは認識精度を向上させますが、語句の認識を保証するものではありません。認識後、大文字と小文字を区別せずに完全一致する語句には、指定した表記が適用されます。JSON の単語や話者セグメントを含むすべての出力形式に適用され、タイムスタンプは変更されません。発音が似ているだけの単語は置換されません。
"transloadit"は"Transloadit"になりますが、"Transloaded"は変更されません。granularityfull | list(デフォルト:"full")現在、
"full"と"list"はどちらも同じ完全な文字起こしレスポンスを返します。後方互換性のため、"list"も引き続き受け付けます。formatjson | meta | srt | text | webvtt(デフォルト:"json")文字起こしの出力形式です。
"text"は、保存して処理できるプレーンテキストファイルを出力します。"json"は、タイムスタンプ付きの単語を含む JSON ファイルを出力します。speaker_labelsが有効な場合、単語にはspeakerラベルを含められ、JSON には話者ごとにグループ化したsegmentsも含められます。"srt"と"webvtt"は、それぞれのファイル形式の字幕ファイルを出力します。これらは個別に保存したり、他のエンコード用 Step で使用したりできます。"meta"はファイルを返さず、エンコード用 Step 間で受け渡される Transloadit のファイルオブジェクト内にデータを格納します(${file.meta.transcription.text}、${file.meta.transcription.words}、および話者ラベルが利用できる場合は${file.meta.transcription.segments}の下)。これらの値を使用して、データを動画に焼き込んだり、データに基づいてフィルタリングしたりできます。
speaker_labelsboolean(デフォルト:false)有効にすると、Transloadit は文字起こしプロバイダーに話者の識別を要求します。これにより、JSON 出力と meta 出力には、個々の単語に付けた
"speaker_1"などのspeakerラベルと、話者ごとにグループ化したsegmentsを含められます。テキスト、SRT、WebVTT の出力動作は変わりません。話者ラベルは、同じ声の話者を識別するもので、実在する人物の名前を示すものではありません。精度は、音声品質、背景ノイズ、発話の重なり、話者数によって異なります。
max_speakersstring | number(デフォルト:10)speaker_labelsが有効な場合に検出する話者数の上限です。source_languagestring(デフォルト:"en-US")"aws"、"gcp"、"elevenlabs"の各プロバイダーで、話されている言語を設定します。文字起こしは話されている言語のまま行われ、このパラメーターは音声を翻訳しません。ElevenLabs は、"de-DE"に対する"de"のように、言語部分のみを使用します。このパラメーターを省略すると、言語を自動検出します。言語は、
"en-GB"、"de-DE"、"fr-FR"などの BCP-47 形式で指定してください。gcpプロバイダーとawsプロバイダーの対応言語一覧も参照してください。target_languagestringプロバイダー
"replicate"に対して、音声の言語のヒントを設定します。このパラメーターを省略すると、音声の言語を自動検出します。音声の言語がわかっている場合は、"french"のように、言語の英語名を省略せず、すべて小文字で指定してください。名前に反して、このパラメーターは音声を翻訳しません。プロバイダー
"aws"および"gcp"では、代わりにsource_languageを使用してください。
デモ
関連ブログ記事
- Tech preview:メディア処理を強化する新しい AI Robot
- 新機能:動画の自動文字起こしと字幕の追加
- /text/speak Robot でスクリーンリーダープラグインを作る
- Building an AI-powered video dubber with Transloadit (English)
- Transloadit の 2021年の節目と進歩
- Build a Reddit video subtitling bot with Transloadit (English)
- Transloadit で魅力的な音声ビジュアライゼーションを作成
- 動画機能の新情報:トランジション、チャプター、CMAF など
- 発話中の単語を強調する SNS 風字幕
- 誰が話しているかわかる文字起こし