ブログ · · 約 7 分で読めます

割り込み(バージイン)と話す順番:電話の AI が自然に聞こえる条件

電話の AI が自然に聞こえるかは、相手が話し始めたらすぐ止まるか(バージイン)と、話し終えたかを正しく見分けるか(ターンの判定)で決まります。仕組み、誤って止まる・止まらない原因、会話の設計での工夫を、電話の音声の流れに沿って説明します。

要点

  • 電話の AI が自然に聞こえる条件は、相手が話し始めたらすぐ黙ること(バージイン)と、相手が話し終えたときにだけ話し始めること(ターンの判定)の 2 つです。
  • バージインでは、音声合成を止めるだけでなく、電話の側にたまった音声も捨てる必要があります(Twilio Media Streams なら clear のメッセージ)。
  • 誤って止まる・割り込んでしまう問題は、音の検出だけでなく、AI の返事を短く区切る・確認を 1 つずつにするなど、会話の設計でも減らせます。

電話の AI が「機械と話している」と感じさせるいちばんの原因は、話す順番の扱いです。相手が話し始めたらすぐに黙ること(バージイン)と、相手が話し終えたときにだけ話し始めること(ターンの判定)の 2 つがそろうと、会話はぐっと自然になります。この記事では、それぞれの仕組みと、うまくいかないときの原因、会話の設計で補える工夫をまとめます。

話す順番を決める 2 つの判断

電話の AI は、通話のあいだずっと「いまは誰が話す番か」を判断しています。判断は次の 2 つです。

判断 何を見分けるか 失敗したとき
バージイン(割り込み) AI が話している最中に、相手が話し始めたか 相手の声に AI がかぶさり続ける/物音で AI が黙る
ターンの判定(話し終えの判定) 相手が話し終えたか、まだ途中か 相手の言葉の途中で AI が話し出す/返事が遅れる

どちらも、もとになるのは音声区間検出(VAD)です。VAD は、届いた音が人の声かどうかを短い区切りごとに判定します。ただし VAD は「声がある・ない」しか分からないので、「言い淀んで黙っているのか、言い終えたのか」までは分かりません。そこで、言葉の内容や話し方の調子から話し終えを推し量る仕組みを組み合わせるのが、いまの音声 AI の一般的な作りです。

バージインの流れ

バージインは、相手の声を検出したら、AI の発話をその場で止めて聞く側に回る動きです。止めるべきものは 3 つあります。

  1. 音声合成。まだ作っていない続きの音声を作らない。
  2. 生成 AI の返事。話している途中の返事の残りを捨て、相手の新しい発言を待つ。
  3. 電話の側にたまった音声。すでに送ってしまった音声も止める。

3 つ目を忘れやすいので注意が必要です。音声 AI は、合成した音声を電話の側へ先回りして送っておくのがふつうです。合成を止めても、電話の側にたまった分が流れ続けると、相手には「止まらない AI」に聞こえます。Twilio Media Streams では、WebSocket で clear のメッセージを送ると、それまでに送った音声の再生を止められます(Twilio のドキュメント)。

もう 1 つ大事なのは、「どこまで話したか」を記録することです。AI が文の途中で止められたなら、相手が聞いたのはその途中までです。会話の記録に全文を残すと、生成 AI は「もう伝えた」と思い込み、同じことを言い直さなくなります。mark のメッセージ(送った音声の再生が終わったことを知らせる仕組み)などで、相手に届いたところまでを記録に残すのが正確です。

誤って止まる・止まらない原因

バージインは、敏感すぎても鈍すぎても困ります。よくある原因を表にまとめます。

症状 よくある原因 対策の方向
物音や咳で AI が黙る 雑音を声と判定している 一定の長さ続いた声だけを割り込みとみなす。短い音は無視する
「はい」「ええ」のあいづちで AI が止まる あいづちも割り込みとして扱っている 確認の質問のあとなど、あいづちが来やすい場面の発話を短くする
相手が話しても AI が止まらない 判定が鈍い/電話の側の音声を捨てていない 合成と送信済みの音声の両方を止める
AI が自分の声で止まる スピーカーの音をマイクが拾っている(主に Web・アプリ) エコーキャンセルを有効にする。ヘッドホンをすすめる

電話では、相手の端末がエコーをある程度取り除いてくれます。一方、Web やアプリでは、ブラウザの getUserMedia の echoCancellation を有効にしないと、AI の声がそのままマイクに戻り、AI が自分の声で割り込まれることがあります(MDN)。

話し終えの判定と返事の速さ

話し終えの判定は、返事の速さと正確さの引き換えです。声が途切れてから長く待てば、言い淀みで割り込む失敗は減りますが、返事は遅くなります。短く待てば速くなりますが、電話番号を区切って言っている途中に AI が話し出しやすくなります。

日本語の電話では、次の場面で途中の沈黙が生まれやすくなります。

  1. 電話番号や日付を言うとき。「090 の…(間)…1234 の…」と区切って話す。
  2. 思い出しながら話すとき。「えーと、来週の…」のような言い淀み。
  3. 名前の字を説明するとき。「さいとうの、さいは…」。

声の有無だけで判定せず、「文として終わっているか」を言葉の内容から推し量ると、こうした場面での割り込みが減ります。遅れ全体の内訳と縮め方は 音声 AI の応答の遅れ にまとめています。

会話の設計でできること

音の処理だけでなく、AI に何をどう話させるかでも、話す順番の失敗は減らせます。エージェント設定の指示文(persona)で決められることを挙げます。

  1. 返事を短く区切る。1 回の返事は 1〜2 文にする。長い説明の途中で割り込まれても、失うものが少なくなります。
  2. 質問は 1 回に 1 つ。「お名前と電話番号を教えてください」と 2 つ聞くと、相手は名前のあとに間を空け、AI が割り込みやすくなります。
  3. 聞き取りの途中は待つと伝える。電話番号を聞くときは「ゆっくりで大丈夫です」と添えると、相手が急いで区切る回数が減ります。
  4. 割り込まれたら言い直さず、相手の話に答える。止められた返事の続きを言い直すより、相手の新しい発言に答えるほうが自然です。
  5. 読み上げの確認は最後にまとめる。聞き取った内容の確認は、項目ごとに挟むより、最後にまとめて読み上げるほうが、あいづちによる誤った割り込みが起きにくくなります。

話す速さも関係します。速すぎると相手が割り込むきっかけを失い、遅すぎると相手が待ちきれずに話し始めます。電話で聞きやすい声と速さは 電話で聞きやすい音声合成 で扱います。

voicast でのバージイン

voicast は、相手が話し始めると話すのをやめて聞きます(バージイン)。話し終えの判定・合成の停止・電話の側の音声の破棄は音声サーバーが受け持つので、SaaS の側で作るものはありません。エージェント設定では、返事の長さや質問の順番を persona に書き、話す速さを speaking_rate で選びます。

文章だけを返すセッション(output: 'text'。アバターなど別の話す部品と組み合わせるとき)では、相手が話し始めるとデータチャンネルで { type: 'voicast.interrupted' } が届きます。受け取ったら、話す部品に「話している途中の返事を止める」よう伝えてください。止めないと、声を出している側が話し続けてしまいます。

よくある質問

バージインを切ることはできますか。

電話の AI では、切らないことをおすすめします。相手が話しているのに AI が話し続けると、相手は言い直すか電話を切るしかなくなります。誤って止まる問題は、割り込みとみなす声の長さや、AI の返事の短さで調整するのが一般的です。

あいづちで AI が止まってしまいます。

あいづちが返ってきやすいのは、AI が長く話しているときと、確認の質問をしたときです。返事を 1〜2 文に区切り、確認は最後にまとめて読み上げると、あいづちで止まる場面そのものが減ります。

Web やアプリで AI が自分の声で止まります。

スピーカーの音をマイクが拾っている可能性が高いです。getUserMedia で echoCancellation: true を指定し、可能ならヘッドホンをすすめてください。電話ではふつう起きません。

関連記事