/text/ speak Robot でスクリーンリーダープラグインを作る

過去の料金に関する注記:以下の価格と利用枠は、この記事の公開時点の提供内容です。現在のプランは 現在の料金をご覧ください。
最近、AI Robot の 1 つに対するアップデートをご紹介しました。そして今回は、その流れを受けて、AI Robot ファミリーに新たな仲間を追加します。新しい /text/speak Robotの登場です。前回取り上げた AI Robot、/speech/transcribe Robotと同じく、この Robotも音声が中心です。ただし、音声からテキストを書き起こすのではなく、テキストを音声(TTS)に変換できます。
これはとても魅力的な追加機能なので、同僚の Joseph と私は、この Robotを中心に据えたプロジェクトをそれぞれ作り、その設計プロセスを紹介するブログを書くことにしました。この Robotの汎用性をお見せするためです。この記事を気に入っていただけたら、近日公開予定の Joseph の記事もぜひご覧ください。
今回のプロジェクトでは、ボタンをクリックするだけでページ全体のテキストを音声に変換できる、Web サイトへ簡単に組み込めるスクリーンリーダーを作ります。
これはテキスト読み上げの実験であり、ナビゲーション機能や操作支援を備えた支援用のスクリーンリーダーの代替ではありません。ボタンを押すと、デモは以下のチュートリアル本文を、コード例を除いて Transloadit に送信します。音声はサイトの言語メニューに表示されている言語に従います。結果の再生にはオーディオコントロールを使ってください。一方、以下の単体の例では、最初にマークされたテキストブロックの言語属性から音声を選択します。

前提条件
始める前に、標準的な Web サイト用フォルダーを用意しておく必要があります。次のファイルを作成してください:index.html、index.js、必要に応じて style.css。この記事が長くなりすぎないよう、ここでは js ファイルの内容と、HTML ファイルとの接続箇所だけを説明します。それ以外のファイルの完全な内容や、このデモの後半で使うローディングアニメーション用
GIF も含めてそのままコピーしたい場合は、次のリポジトリをご覧ください。
HTML
まずは、このアプリケーションの HTML 要素を準備します。前述のとおり、Web ページの作り方そのものは扱わず、JavaScript ファイルと連携するために必要な要素だけを説明します。それでは、body タグ内に次の要素を含む HTML のひな型ファイルを作成してください。
<button id="button_event" onclick="runScript()">Generate</button>
<p id="status" role="status"></p>
<div data-screenreaderlanguage="en-US">
<p>Sample Text</p>
</div>
<script src="index.js"></script>
これで、アプリケーションの UI 要素を準備できます。作成したボタンは、div タグ内に含まれるテキストを使って /text/speak Assembly リクエストを送信します。この div タグを参照するために、dataset 値を割り当てます。バックエンド開発者もこの値を使って、ドキュメントにあるオプションに基づき、Robot の対象言語を選択します。最後に、body の末尾で JavaScript ファイルを読み込みます。
Transloadit API と連携するために、Robodogを使います。これは、無料のファイルアップローダー Uppyの軽量版です。
注:Robodog は非推奨になっています。新しい統合では、Uppy の Transloadit plugin(Dashboard UI またはカスタム UI)を使ってください。
HTML ページの header 内には、次の 1 行を追加します。
<script src="https://releases.transloadit.com/uppy/robodog/v1.10.7/robodog.min.js"></script>
JavaScript
次の JavaScript スニペットを、順番どおりに index.js にまとめてください。これらのスニペットは、1 つのプログラムを説明に合わせて分割したものです。別モジュールではありません。以下では履歴上の Robodog バンドルを固定して使っていますが、上のライブデモではメンテナンス中の
Uppy Transloadit plugin を使っています。
送信に利用するのは、ユーザーが送信に同意した公開テキストだけにしてください。本番環境では、Signature Authenticationを使ってサーバー側で短命の署名付きパラメーターを作成し、許可する処理設定と入力サイズを制限し、Auth Secret をブラウザーのコードに決して含めないでください。
テキストの取得
JavaScript ファイルに移り、プログラムを書き始めます。最初に行う必要があるのは、Web サイト内の読み上げ対象テキストを抽出し、あとで使えるよう変数に代入することです。
// …
const result = document.querySelectorAll('[data-screenreaderlanguage]')
const textArray = []
for (const element of result) textArray.push(element.innerText)
const language = document.querySelector('[data-screenreaderlanguage]').dataset.screenreaderlanguage
// …
このコードでは、Document.querySelectorAll() メソッドを使って、screenreaderlanguage dataset に関連付けられたすべての情報要素を含む配列を作成します。dataset を使っているため、スクリーンリーダー出力から特定の読み上げ可能テキスト(たとえば <code> タグ内のテキスト)を除外したい場合は、その不要なテキストの前で div タグを閉じ、その後に同じ dataset を持つ新しい div タグを作成して、読み上げ処理を再開したい位置から続けられます。
ベースとなる情報は集まりましたが、収集したデータから実際に読み上げ用テキストを抽出する必要があります。まず、読み上げ可能なテキストを保存するための配列変数を初期化します。その後、for...of ループで選択した各要素を順にたどり、それぞれの innerText の値を保存します。
このセクションの最後に、後続の処理で /text/speak
Robotが対象言語を認識できるよう、言語用の変数を設定します。具体的には、dataset の screenreaderlanguage の値で言語変数を宣言します。
Uppy 向けの変換
データの準備ができたので、次は Robodog インスタンスで扱える形に変換します。
// …
const mytextfile = new File([textArray.join('\n\n')], 'mytextfile.txt', { type: 'text/plain' })
// …
これで、収集したテキストブロックの間に段落区切りを入れたテキストファイルを作成できます。マークする内容は同一言語のものだけにしてください。この例では、最初にマークされたブロックの言語を読み取ります。
ローディングアニメーション
ユーザーに処理中であることをわかりやすく示すため、/text/speak Robotが処理している間は、ローディングアニメーションを再生したいところです。そのために、まずボタン要素を GIF に置き換えるためのプレースホルダー変数を用意します。さらに、テキスト処理が成功したら、その GIF 要素をオーディオプレーヤーに置き換えます。
// …
const buttonEl = document.getElementById('button_event')
const statusEl = document.getElementById('status')
const tmpGif = document.createElement('img')
const audioPlayer = document.createElement('AUDIO')
tmpGif.src = 'loader.gif'
tmpGif.width = 100
tmpGif.height = 100
tmpGif.id = 'tmpGif'
tmpGif.alt = 'Generating speech'
// …
ここでは、HTML ドキュメント内の要素を保持するために 3 つの変数を宣言しています。1 つ目の変数 buttonEl は既存要素を参照し、残りの 2 つは新しい要素を作成します。その下では、置き換え用の GIF 要素にいくつかの属性を設定しています。最後に、作業ディレクトリー内の GIF ファイルをソースとして設定し、サイズを指定し、後でプログラム内で参照するための ID を設定します。
スクリプトの実行
ここまでの準備用 Step ができたので、いよいよプログラムの主要な機能を組み込みます。Generate ボタンのクリックハンドラーを定義しましょう。
まずは、先ほど HTML ページ内で参照した関数と同じ名前で関数を宣言します。
// …
function runScript() {
if (!buttonEl.isConnected) return
statusEl.textContent = 'Generating speech.'
buttonEl.parentNode.replaceChild(tmpGif, buttonEl)
// …
関数の準備ができたら、最初の DOM 操作メソッド parentNode.replaceChild() を使えます。これにより、関数が実行されたときに、ページ上のボタンを新しい GIF 要素へ置き換えます。
GIF が表示されてデータ処理中であることが示されたら、次は Transloadit API を使って、このプログラム用の音声を合成できます。そのために、HTML ファイルに読み込んだ Robodog スクリプトを使用します。
// …
window.Robodog.upload([mytextfile], {
waitForEncoding: true,
params: {
auth: { key: 'TRANSLOADIT_AUTH_KEY' },
steps: {
':original': {
robot: '/upload/handle',
},
speech: {
use: ':original',
robot: '/text/speak',
provider: 'aws',
target_language: language,
},
},
},
})
// …
新しい Robodog インスタンスでは、設定が必要なパラメーターが 2 つあります。1 つ目はアップロードするファイル用で、これはプログラムの前半で作成したテキストファイル変数を指定します。もう 1 つは、追加オプションをすべて含むオブジェクト型のパラメーターです。
このオブジェクトパラメーターでは、いくつかの Step を設定する必要があります。まず、waitForEncoding を
true に設定します。こうすることで、後からプログラム内で
Assembly の結果を取得できます。次に、認証キーを auth パラメーターに設定する必要があります。このキーは、Transloadit console の Credentials タブで確認できます。最後に、Template
Step を追加します。1 つはアップロード用、もう 1 つは音声合成用です。
音声用 Step は、いくつかのパラメーターで構成されます。まず、この Step に対して、アップロードしたテキストファイルを使うことを知らせる必要があります。これは "use"
パラメーターで指定します。次に、"robot" パラメーターを使って、/text/speak Robot を使用することを指定します。続く "provider" パラメーターでは、音声合成に使うバックエンド API を選択できます。利用可能な値は "gcp" と "aws" です。各プロバイダーにはさまざまな音声がありますが、ここではデフォルトを使います。最後に使う "target_language" パラメーターは、テキストをどの言語で読み上げるかを
API に伝えます。この値には、プログラム冒頭で設定した language 変数を使います。
ここまでの機能を設定したら、JavaScript の then() メソッドを使って、後で参照できるよう音声データを含む promise を返します。
結果の利用
Robodog の設定がすべて完了したので、次はブラウザーで再生できるよう、生成された音声を保存します。
// …
.then((bundle) => {
const audio_url = bundle.results?.find((result) => result.stepName === 'speech')?.ssl_url
if (!audio_url) throw new Error('No speech result returned')
audioPlayer.setAttribute('src', audio_url)
audioPlayer.setAttribute('controls', 'controls')
audioPlayer.setAttribute('aria-label', 'Generated speech')
audioPlayer.setAttribute('lang', language)
audioPlayer.setAttribute('style', 'width: 100%;')
tmpGif.parentNode.replaceChild(audioPlayer, tmpGif)
statusEl.textContent = 'Speech is ready. Use the audio controls to play it.'
})
// …
then() メソッド内では、Robodog が提供する promise を使って
Assembly の JSON 結果を解析し、結果の URL を新しい変数に保存できます。この新しい変数 audio_url を使えば、このデモの前半で使ったものと同じ要素置換の方法を利用できます。その後、オーディオプレーヤーを動作させるために、音声ソースを指定し、再生コントロールを公開する属性をいくつか設定します。再生はユーザー操作で開始されるため、autoplay の許可には依存しません。これで、テキスト読み上げプレーヤーが生成され、Web サイトに組み込まれました。
もちろん、フェイルセーフも必要です。そこで、JavaScript の catch()
メソッドを使ってエラーを処理します。
// …
.catch(() => {
statusEl.textContent = 'Could not generate speech. Please try again.'
tmpGif.parentNode.replaceChild(buttonEl, tmpGif)
})
}
// …
エラーが発生すると、読みやすいステータスが表示され、処理中の GIF は元のボタン要素に戻されます。つまり、ネットワーク接続が一時的に失われても、その後回復すれば、Generate ボタンを再度クリックして、もう一度音声生成を実行できます。
以上で、このデモの紹介は終了です。これで、私たちの API の高い汎用性をさらに示せたのではないかと思います。もちろん、ここで作成したプログラムをそのまま任意の Web サイトに追加すれば、手軽に使えるスクリーンリーダーになります。しかし、ぜひそこで終わらせず、このブログを構成要素の集まりとして活用し、プロジェクトをさらに発展させてみてください。できあがったものもぜひ教えてください :) 私たちの /text/speak Robot は、有料プランをご利用のお客様であればお使いいただけます。この記事に興味を持たれた場合は、アカウントのアップグレードもご検討ください。最初の有料プランは、月額 $49 でエンコードデータ 10 GB を利用できます。