ブログ · · 約 7 分で
割り込み(バージイン)と話す順番:電話の AI が自然に聞こえる条件
電話の
要点
- 電話の
AI が 自然に 聞こえる 条件は、 相手が 話し始めたら すぐ 黙る こと (バージイン) と、 相手が 話し終えた ときにだけ話し始める こと (ターンの 判定) の 2 つです。 - バージインでは、
音声合成を 止めるだけでなく、 電話の 側に たまった 音声も 捨てる 必要が あります (Twilio Media Streams なら clear の メッセージ) 。 - 誤って
止まる ・割り 込んでしまう 問題は、 音の 検出だけでなく、 AI の 返事を 短く 区切る ・確認を 1 つずつに するなど、 会話の 設計でも 減らせます。
電話の
話す順番を決める 2 つの判断
電話の
| 判断 | 何を |
失敗した |
|---|---|---|
| バージイン |
AI が |
相手の |
| ターンの |
相手が |
相手の |
どちらも、
バージインの流れ
バージインは、
- 音声合成。
まだ 作っていない 続きの 音声を 作らない。 - 生成 AI の
返事 。話している 途中の 返事の 残りを 捨て、 相手の 新しい 発言を 待つ。 - 電話の
側に 。たまった 音声 すでに 送ってしまった 音声も 止める。
3 つ目をclear の
もうmark の
誤って止まる・止まらない原因
バージインは、
| 症状 | よく |
対策の |
|---|---|---|
| 物音や |
雑音を |
一定の |
| あい |
確認の |
|
| 相手が |
判定が |
合成と |
| AI が |
スピーカーの |
エコーキャンセルを |
電話では、getUserMedia のechoCancellation を
話し終えの判定と返事の速さ
話し終えの
日本語の
- 電話番号や
日付を 。言う とき 「090 の… (間) … 1234 の…」 と 区切って 話す。 - 思い出しながら話すとき。
「えーと、 来週の…」 のような 言い淀み。 - 名前の
字を 。説明する とき 「さいとうの、 さいは…」 。
声の
会話の設計でできること
音の
- 返事を
短く 。区切る 1 回の 返事は 1〜2 文に する。 長い 説明の 途中で 割り込まれても、 失う ものが 少なくなります。 - 質問は
1 回に 。1 つ 「お名前と 電話番号を 教えてください」 と 2 つ 聞くと、 相手は 名前の あとに 間を 空け、 AI が 割り込みやすくなります。 - 聞き取りの
途中は 。待つと 伝える 電話番号を 聞く ときは 「ゆっくりで 大丈夫です」 と 添えると、 相手が 急いで 区切る 回数が 減ります。 - 割り込まれたら
言い直さず、 。相手の 話に 答える 止められた 返事の 続きを 言い直すより、 相手の 新しい 発言に 答える ほうが 自然です。 - 読み上げの
確認は 。最後に まとめる 聞き取った 内容の 確認は、 項目ごとに 挟むより、 最後に まとめて 読み上げる ほうが、 あい づちに よる 誤った 割り込みが 起きに くくなります。
話す速さも
voicast でのバージイン
voicast は、persona にspeaking_rate で
文章だけをoutput: 'text'。{ type: 'voicast.interrupted' } が
よくある質問
バージインを切ることはできますか。
電話の
あいづちで AI が止まってしまいます。
あい
Web やアプリで AI が自分の声で止まります。
スピーカーのgetUserMedia でechoCancellation: true を