文書内のテキストから音声を合成
🤖/text/speak は、文書内のテキストから音声を合成します。

返された音声はアプリケーションで使用できます。また、他の Robot に渡して、たとえば動画に音声トラックを追加できます。
読字障害のある方にも製品を利用しやすくすることも、よくある用途です。
Transloadit は同じ入力から同じ結果を得られることを目指していますが、この Robot はサードパーティーの AI サービスを使用します。プロバイダー(AWS、GCP、ElevenLabs)は時間とともにモデルを更新するため、同じ入力メディアでも異なる応答が返されます。テストやアプリケーションでは、応答が完全に一致することを前提にしないでください。
ElevenLabs の使用
ElevenLabs の Multilingual v2 音声( eleven_multilingual_v2 )を使用するには、provider を "elevenlabs" に設定してください。出力が意図せず変わらないよう、モデルは固定されています。サポートされているすべての言語で female-1 と male-1 の音声を利用でき、それぞれ ElevenLabs が長期的に提供する音声に対応しています。音声はテキストの言語で読み上げられます。言語は ElevenLabs が検出するため、target_language はサポートされている言語の選択にのみ使われ、曖昧な単語の発音は指定できません。ElevenLabs はプレーンテキストのみを読み上げるため、ssml は false のままにする必要があります。読み上げられるのは最大で先頭の 10,000文字です。
Transloadit は、ElevenLabs の定価である 1,000文字あたり $0.08 に
30% の手数料を加えた額を請求します。Step あたりの最低料金は $0.05 です。ご自身の ElevenLabs アカウントを使用するには、AI プロバイダータイプの Template 認証情報にキーを elevenlabs_api_key として保存し、 credentials で参照してください。この場合、ElevenLabs から直接請求され、Transloadit は定価の代わりに定価の 30% を手数料として請求します。Step あたりの最低料金は $0.0005 です。いずれの場合も、 Step の通常のデータ量に基づく料金のほうが高い場合は、そちらが適用されます。ElevenLabs がキーを拒否した場合、Step は失敗します。Transloadit 自身のキーに切り替わることはありません。
サポートされている言語と音声
AWS
| 言語 | 音声 |
|---|---|
arb | female-1 |
cmn-CN | female-1 |
cy-GB | female-1 |
da-DK | female-1, male-1 |
de-DE | female-1, male-1 |
en-AU | female-1, male-1 |
en-GB | female-1, male-1 |
en-GB-WLS | male-1 |
en-IN | female-1 |
en-US | female-1, female-child-1, male-1, male-child-1 |
es-ES | female-1, male-1 |
es-MX | female-1 |
es-US | female-1, male-1 |
fr-CA | female-1 |
fr-FR | female-1, male-1 |
hi-IN | female-1 |
is-IS | female-1, male-1 |
it-IT | female-1, male-1 |
ja-JP | female-1, male-1 |
ko-KR | female-1 |
nb-NO | female-1 |
nl-NL | female-1, male-1 |
pl-PL | female-1, male-1 |
pt-BR | female-1, male-1 |
pt-PT | female-1, male-1 |
ro-RO | female-1 |
ru-RU | female-1, male-1 |
sv-SE | female-1 |
tr-TR | female-1 |
ELEVENLABS
| 言語 | 音声 |
|---|---|
ar-XA | female-1, male-1 |
bg-BG | female-1, male-1 |
cmn-CN | female-1, male-1 |
cs-CZ | female-1, male-1 |
da-DK | female-1, male-1 |
de-DE | female-1, male-1 |
el-GR | female-1, male-1 |
en-AU | female-1, male-1 |
en-GB | female-1, male-1 |
en-US | female-1, male-1 |
es-ES | female-1, male-1 |
es-MX | female-1, male-1 |
fi-FI | female-1, male-1 |
fil-PH | female-1, male-1 |
fr-CA | female-1, male-1 |
fr-FR | female-1, male-1 |
hi-IN | female-1, male-1 |
hr-HR | female-1, male-1 |
id-ID | female-1, male-1 |
it-IT | female-1, male-1 |
ja-JP | female-1, male-1 |
ko-KR | female-1, male-1 |
ms-MY | female-1, male-1 |
nl-NL | female-1, male-1 |
pl-PL | female-1, male-1 |
pt-BR | female-1, male-1 |
pt-PT | female-1, male-1 |
ro-RO | female-1, male-1 |
ru-RU | female-1, male-1 |
sk-SK | female-1, male-1 |
sv-SE | female-1, male-1 |
ta-IN | female-1, male-1 |
tr-TR | female-1, male-1 |
uk-UA | female-1, male-1 |
GCP
| 言語 | 音声 |
|---|---|
ar-XA | female-1, male-1 |
bn-IN | female-1, male-1 |
cmn-CN | female-1, male-1 |
cmn-TW | female-1, male-1 |
cs-CZ | female-1 |
da-DK | female-1, male-1 |
de-DE | female-1, male-1 |
el-GR | female-1 |
en-AU | female-1, male-1 |
en-GB | female-1, male-1 |
en-IN | female-1, male-1 |
en-US | female-1, female-2, female-3, male-1 |
es-ES | female-1, male-1 |
fi-FI | female-1 |
fil-PH | female-1, male-1 |
fr-CA | female-1, male-1 |
fr-FR | female-1, male-1 |
gu-IN | female-1, male-1 |
hi-IN | female-1, male-1 |
hu-HU | female-1 |
id-ID | female-1, male-1 |
it-IT | female-1, male-1 |
ja-JP | female-1, male-1 |
kn-IN | female-1, male-1 |
ko-KR | female-1, male-1 |
ml-IN | female-1, male-1 |
nb-NO | female-1, male-1 |
nl-NL | female-1, male-1 |
pl-PL | female-1, male-1 |
pt-BR | female-1 |
pt-PT | female-1, male-1 |
ro-RO | female-1 |
ru-RU | female-1, male-1 |
sk-SK | female-1 |
sv-SE | female-1 |
ta-IN | female-1, male-1 |
te-IN | female-1, male-1 |
th-TH | female-1 |
tr-TR | female-1, male-1 |
uk-UA | female-1 |
vi-VN | female-1, male-1 |
yue-HK | female-1, male-1 |
使用例
アップロードしたテキスト文書から、アメリカ英語の女性の声で音声を合成します:
{
"steps": {
"synthesized": {
"provider": "aws",
"robot": "/text/speak",
"target_language": "en-US",
"use": ":original",
"voice": "female-1"
}
}
}パラメーター
interpolateboolean | Record<string, boolean>処理設定の各フィールドで Assembly Variables を展開するかどうかを制御します。
デフォルトでは、Robot の処理設定のほとんどのフィールドで Assembly Variables が展開されます。すべての設定フィールドをリテラルテキストとして扱うには、このパラメーターを
falseに設定してください。特定のフィールドだけをリテラルテキストとして扱うには、そのフィールドのパスをfalseに設定してください。デフォルトでリテラルとして扱われる Robot 固有のフィールドで展開を有効にするには、このパラメーターをtrueに設定するか、そのフィールドのパスをtrueに設定してください。pathのようなフィールド名を使用してください。ネストされたオブジェクトには、ffmpeg.vfのようなドット区切りのパスを使用してください。output_metaRecord<string, boolean> | boolean | Array<string>算出に多くの CPU リソースを要するメタデータを指定できます。Assembly の処理速度を維持するため、これらはデフォルトで無効になっています。
画像の場合、このオブジェクトに
"has_transparency": trueを追加すると、画像に透明な部分が含まれるかどうかを抽出できます。"dominant_colors": trueを追加すると、画像から 16 進数のカラーコードの配列を抽出できます。画像の場合、
"blurhash": trueを追加すると、画像のプレースホルダーをコンパクトに表す BlurHash 文字列も抽出できます。画像全体の読み込み中に、ぼかしたプレビューを表示するのに役立ちます。画像の場合、代わりに
"thumbhash": trueを使用すると、base64 エンコードされた ThumbHash をmeta.thumbhashに抽出し、meta.has_alpha(完全に不透明な場合も含め、アルファチャンネルが存在するかどうか)も抽出します。ThumbHash は EXIF の向きを反映したピクセルを表し、アニメーション画像では最初のフレームを使用します。抽出はベストエフォートです。40 メガピクセルを超える画像、非対応の形式、デコードの失敗やデコード処理の上限への到達があった場合、プレースホルダーは生成されません。抽出に成功すると、そのファイルのバイト数の 20% に相当するメタデータ料金が加算されます。無効な場合やハッシュが生成されない場合、ThumbHash の追加料金は発生しません。このオプションは画像を生成する Step に設定してください。たとえば、アップロードされた元画像では
/upload/handle、処理済みの出力では/image/resizeに設定します。/transloadit/storeにのみ設定しても、抽出は要求されません。ストレージは生成元のメタデータを保持します。Transloadit Storage は生成されたハッシュをその不変のバージョンとともに永続化し、保存済みの結果やネイティブのアセット読み取り時に返します。S3 への直接アップロードではプレースホルダーは生成されません。プレースホルダーには画像情報が含まれるため、画像全体と同じアクセス制御で保護してください。動画の場合、
"colorspace": trueパラメーターを追加すると、出力動画の色空間を抽出できます。動画の場合、
"interlaced": trueを追加すると、インターレース動画かどうかも検出できます。これは、低コストの ffprobe のfield_orderフラグと、ソースの先頭フレームに対する処理範囲を制限したidetサンプリング処理を組み合わせ、file.metaの下にinterlaced、field_order、診断用のinterlace_detectionオブジェクトを出力します。この処理は計算コストが高く、それに応じて課金されます。音声の場合、
"mean_volume": trueを追加すると、音声ファイルの平均音量を表す単一の値を取得できます。また、
falseに設定すると、メタデータの抽出をスキップしてトランスコードを高速化できます。user_metaRecord<string, any>(デフォルト:{})出力される各ファイルに、ファイルの内容を変更せずにカスタム JSON メタデータを追加します。ネストしたオブジェクトと配列に対応しています。
継承の動作は Robot によって異なります。値は出力ファイルの既存の
user_metaとマージされ、一致するトップレベルのキーは現在の Step によって置き換えられます。Robot が新しい出力を作成する場合は、必要なキーを明示的に割り当ててください。処理 Step では、
${file.*}は最初の入力を、${result.*}は出力されるファイルを参照します。値は Robot の実行後、後続のメタデータ抽出と一時保存の前に、出力ごとに評価されます。:originalでは、メタデータ抽出の前にアップロードごとに値が評価されます。後続の Step は
${file.user_meta.key}を読み取ります。完全な例と継承ルールについては、カスタムメタデータ を参照してください。resultboolean(デフォルト:false)この Step の結果を Assembly Status JSON に含めるかどうか
queuebatchqueue を 'batch' に設定すると、このステップのジョブの優先度を手動で下げ、キューの待ち時間がゼロである必要のないジョブが優先ジョブスロットを消費しないようにします。
force_acceptboolean(デフォルト:false)通常は無視するファイルタイプを Robot に強制的に受け入れさせます。
デフォルトでは、Robot は認識できないファイルを無視します。たとえば、🤖/video/encodeは入力画像を無視します。
force_acceptパラメーターをtrueに設定すると、Robot に渡されたすべてのファイルを強制的に受け入れさせることができます。通常、この設定はエラーにつながるため、デバッグやエッジケースへの対処にのみ使用してください。ignore_errorsboolean | Array<meta | execute>(デフォルト:[])処理の特定のフェーズでエラーを無視します。
このパラメーターを
["meta"]に設定すると、Robot はメタデータ抽出中のエラーを無視します。このパラメーターを
["execute"]に設定すると、Robot はメイン実行フェーズ中のエラーを無視します。このパラメーターを
trueに設定すると、["meta", "execute"]と同じ動作になり、両方のフェーズでエラーを無視します。usestring | Array<string> | Array<object> | object入力として使用する Step を指定します。
- Step には任意の名前を付けられます。ただし、
":original"は Transloadit が処理するユーザーアップロード用に予約されています。 - 配列を使用して、複数の Step を入力として指定できます。
{ "use": [ ":original", "encoded", "resized" ] } - 入力 Step に
asでタグを付けて、意味上の用途を Robot に伝えることもできます。{ "use": [ { "name": ":original", "as": "image" }, { "name": ":original", "as": "mask" } ] }
ヒントuseについては、通常ここまでの内容で十分ですが、高度な使用例 も参照できます。- Step には任意の名前を付けられます。ただし、
promptstring | null読み上げるテキストです。
nullに設定して、入力テキストファイルを指定することもできます。providerauto | aws | elevenlabs | gcp(デフォルト:"auto")リクエストに基づいて最適なプロバイダーを選択します。
自動選択を上書きするには、特定のプロバイダーを選択してください。
"auto"は"aws"を使用し、"elevenlabs"を選択することはありません。credentialsstring独自の
elevenlabs_api_keyを格納した、AI Providers タイプの Template 認証情報の名前です。"elevenlabs"プロバイダーのみが使用します。target_languagestring(デフォルト:"en-US")ドキュメントの記述言語です。読み上げにもこの言語が使われます。
言語は
"en-GB"、"de-DE"、"fr-FR"などの BCP-47 形式で指定してください。対応する言語と音声の一覧を参照してください。voicefemale-1 | female-2 | female-3 | female-child-1 | male-1 | male-child-1(デフォルト:"female-1")音声合成に使用する声の性別です。対応する言語と音声の一覧を参照してください。
ssmlboolean(デフォルト:false)プレーンテキストの代わりに Speech Synthesis Markup Language を指定すると、間の取り方や発音など、テキストの読み上げ方をより細かく制御できます。
対応する構文については、AWS と GCP のドキュメントを参照してください。
"elevenlabs"プロバイダーは SSML を受け付けません。