音声テキスト変換とは?
音声のテキスト化は、自動音声認識(ASR)とも呼ばれ、話された音声を書き言葉に変換する処理です。結果には、タイムスタンプ、信頼度の値、検出した言語、句読点、話者ラベルなどが含まれる場合があります。
音声テキスト変換の仕組み
多くの音声認識システムは、まず波形を短時間スペクトル特徴量に変換し、それに対応する最も確率の高いテキストトークン列を予測します。従来のシステムは音響モデル、発音モデル、言語モデルを別々に学習していました。一方、現在は、音声を直接テキストに対応付ける単一のエンドツーエンドニューラルネットワークを学習するシステムが多く使われています。たとえば Whisper は、音声を 16 kHz にリサンプリングし、対数メルスペクトログラムを計算して、30 秒のウィンドウからテキストをデコードします。そのため、長い録音はウィンドウごとに文字起こしされます。句読点、大文字・小文字の表記、単語の時刻、言語検出の結果も文字起こしとともに生成される場合がありますが、これらは別個の出力で、それぞれに不確実性があります。音声認識は何が話されたかを扱います。誰が話したかを区別する話者ダイアライゼーションは別の処理であり、後から組み合わせられます。Amazon Transcribe などのサービスでは、保存済みファイルのバッチ文字起こしと、ライブ音声のストリーミング文字起こしも区別されています。この二つのモードでは、対応する形式や言語が異なる場合があります。
要点
- 音声認識システムはどう比較すればよいですか?標準的な指標は単語誤り率(WER)です。置換、削除、挿入の数を正解の文字起こしの単語数で割った値で、低いほどよく、0 は完全一致を示します。両方のテキストを事前に正規化しない限り、WER は句読点、短縮形、数値表記の問題のない違いも数えます。Whisper の著者らは、複数のデータセットで、正規化だけで WER が最大 50 パーセント低下したと報告しています。スコアはデータセットによっても大きく変わるため、同じ正解の文字起こしと同じ正規化を使い、実際に扱う録音で候補を比較してください。
- 文字起こしに、誰も話していない言葉が含まれることはあるのでしょうか。モデルによってはあります。Whisper の著者らは、反復ループ、区間の先頭や末尾での単語の欠落、音声と無関係な内容の完全な捏造を、特に長時間の録音で生じる既知の不具合として挙げています。独立した研究では、失語症のある話者とない話者のインタビュー音声から、平均 10 秒の文単位のクリップを取り出し、2023 年に Whisper API で処理しました。その結果、約 1 パーセントのクリップに、実際には話されていない句や文が見つかり、間が長い話者ほど多く見られました。一方、該当するクリップを Google、Amazon、Microsoft、AssemblyAI、RevAI のサービスで処理したところ、同様の現象は見つかりませんでした。これは短いクリップごとの発生率であり、一時間の録音でどの程度発生するかを予測するものではありません。長い無音区間や発話以外の区間を確認してください。WhisperX の評価では、デコード前に音声区間検出で音声を分割すると、ハルシネーションと反復が減少しました。
- すべての単語の時刻を取得できるのでしょうか。認識エンジンによって異なり、精度にも差があります。Whisper は区間全体の開始時刻と終了時刻を予測し、その後、注意重みから単語の時刻を推定します。WhisperX の著者らの測定では、この方法は別の音素モデルによる強制アライメントより精度が低いとされています。Google の Speech-to-Text v1 API は、
enableWordTimeOffsetsが true の場合にのみ単語のオフセットを設定し、この機能を精度が変動しうる実験的な機能としています。一方、Amazon Transcribe は各単語の開始時刻と終了時刻を返します。文字起こしの検索や特定箇所へのジャンプには区間単位の時刻で十分ですが、単語ごとの強調表示や文字起こしに基づく編集には単語単位の時刻が必要です。字幕やキャプションのファイルでは、句ごとに表示時刻を指定します。W3C のガイダンスでは、キャプションは一行または二行で構成され、それぞれにその句の表示時刻を付けると説明しています。 - 信頼度スコアで、確認が必要な箇所を判断できるのでしょうか。その判断には、まず実際に使用する音声でしきい値を検証する必要があります。Amazon Transcribe は単語ごとに信頼度スコアを返しますが、Google の Speech-to-Text v1 API リファレンスでは、信頼度の値が正確であることも、値が提供されることも保証されないとしています。また、
0.0は値が未設定であることを示す番兵値であり、単語が誤っていることを示すものではありません。スコアの算出方法はプロバイダーごとに異なるため、ある認識エンジン向けに調整したしきい値を別の認識エンジンに流用しないでください。
音声テキスト変換が重要になる場面
文字起こしは、キャプション、検索、要約、アクセシビリティ、モデレーション、分析に活用できます。ノイズ、アクセント、発話の重なり、専門用語によって精度が下がる場合があるため、重要な判断に関わる出力には確認が必要です。
音声テキスト変換の活用
本番導入前
- ノイズ除去や再エンコードの処理を追加する前に、認識エンジンの入力に関するガイダンスを確認してください。Google は、録音時のサンプルレートを維持したロスレスの FLAC または LINEAR16 音声を推奨し、認識前のノイズ低減は通常、精度を下げるとしています。Amazon Transcribe もロスレス形式を推奨しています。
- 名前や専門用語にカスタム語彙やフレーズのブーストを指定する場合は、それらの語を含まない録音でも再テストしてください。Google のドキュメントでは、ブーストによって、実際には話されていないフレーズが文字起こしに現れる場合があると警告しています。
- 文字起こしをキャプションとして公開する前に、人が修正してください。W3C のアクセシビリティガイダンスでは、自動生成キャプションは、完全に正確であると確認されない限り、アクセシビリティ要件を満たさないとしています。確認の対象は認識された単語だけではありません。W3C はキャプションを、発話と、内容の理解に必要な発話以外の音声情報を同期して示すテキストと説明しています。また、WCAG のキャプション要件の解説では、キャプションで話者を識別することも挙げています。
Transloadit による音声テキスト変換の支援
Transloadit の Robot /speech/transcribe は、音声ファイルや動画ファイル内の発話を文字起こしします。format パラメーターで出力結果を選択します。タイムスタンプ付きの単語を含む json、プレーンな text、字幕ファイルの srt または webvtt、あるいは meta を選べます。最後の形式では、後続の Step で利用できるように、文字起こしをファイルに保存します。
認識は provider で選択したプロバイダーが行うため、対応言語や話者ラベルなどの機能は、そのプロバイダーによって異なります。発話言語はプロバイダーごとに異なるパラメーター(source_language または target_language)で設定しますが、どちらも発話を翻訳するものではありません。現在のプロバイダーとパラメーターは Robot のドキュメントに記載されています。
出典
- Radford ほか:大規模な弱教師あり学習による頑健な音声認識(Whisper)
- Chan ほか:聴取・注意・綴りの生成
- Hugging Face Evaluate:単語誤り率(WER)の指標カード
- Koenecke ほか:Careless Whisper:音声テキスト変換のハルシネーションがもたらす害
- Bain ほか:WhisperX:長時間音声の時刻精度の高い文字起こし
- Google Cloud Speech-to-Text v1 リファレンス:信頼度、単語の時間オフセット、検出言語のフィールド
- Amazon Transcribe 開発者ガイド:データの入力と出力
- Google Cloud Speech-to-Text:音声データ提供のベストプラクティス
- Google Cloud Speech-to-Text:モデル適応による文字起こし結果の改善
- Amazon Transcribe 開発者ガイド:カスタム語彙
- W3C Web Accessibility Initiative:キャプションと字幕
- W3C Web Accessibility Initiative:音声のテキストへの書き起こし
- W3C:WCAG 2.2 達成基準 1.2.2 の解説:キャプション(収録済み)
- Koenecke ほか:自動音声認識における人種間格差(PNAS、2020)