音声 AI エージェントとは：電話・Web・アプリで会話する AI の仕組みと使いどころ

音声 AI エージェントは、相手の声を文字に起こし（音声認識）、生成 AI で返事を考え、その返事を声にして（音声合成）答える AI です。単に話すだけでなく、「予約の受付」「用件の聞き取り」のように決められた役割を持ち、名前や電話番号を聞き取ったり、予約システムを調べたり、必要なら人に引き継いだりします。電話・Web・アプリのどこでも、声の入り口さえあれば使うことができます。

音声 AI エージェントの定義

音声 AI エージェントとは、声で会話しながら、仕事を最後まで進める AI のことです。「エージェント」と呼ぶのは、ただ質問に答えるだけでなく、目的に向かって自分で次の行動を選ぶからです。

たとえば歯科医院の予約の電話なら、エージェントは次のことを 1 本の通話の中で行います。

あいさつをして、用件を聞く
名前・折り返しの電話番号・希望の日時を聞き取る
予約システムの API で空きを調べる
聞き取った内容を読み上げて確かめる
「先生と直接話したい」と言われたら、スタッフに引き継ぐ

人の受付が電話でしていることを、決めた範囲で代わりに行うものと考えると分かりやすいでしょう。

1 回の受け答えの流れ

音声 AI エージェントの 1 回の受け答えは、次の順に進みます。

声を受け取る: 電話の回線や、ブラウザ・アプリのマイクから、音声が少しずつ届きます。
話し終わりを判定する: 声のある区間とない区間を見分け（VAD）、相手が話し終えたかを決めます。
文字に起こす: 音声認識で、相手の発話を文章にします。
返事を考える: 生成 AI（LLM）が、役割の指示・これまでの会話・聞き取った項目を踏まえて返事を作ります。必要なら、予約の空きの照会のような外部の API（道具）を呼びます。
声にする: 音声合成で返事を声にして、相手に流します。
割り込みに備える: AI が話している途中で相手が話し始めたら、話すのをやめて聞きます（バージイン）。

この 6 つが毎回つながって動くので、どこか 1 つが遅いと、会話全体が「間の悪い」ものになります。遅れが出る場所と縮め方は、音声 AI の応答の遅れで詳しく説明しています。

IVR・チャットボットとの違い

いちばん大きな違いは、相手が自分の言葉で話せることと、会話の流れを AI がその場で組み立てることです。

	IVR（番号の押し分け）	テキストのチャットボット	音声 AI エージェント
相手の入力	電話のボタン	文字	声（自分の言葉）
流れ	決めた木構造のまま	決めた流れか、生成 AI	生成 AI が役割に沿って組み立てる
言い方の揺れ	扱えない	文字なら扱える	扱える（聞き間違いへの備えが要る）
使える場所	電話	Web・アプリ	電話・Web・アプリ
設計で気をつけること	メニューの深さ	画面の導線	応答の速さ・聞き取りの確かめ・引き継ぎ

テキストのチャットボットと比べると、音声には「目で見て直せない」という難しさがあります。電話番号を聞き間違えても、相手は画面で確かめられません。そのため、聞き取った内容を読み上げて確かめる流れが欠かせません。

電話・Web・アプリへのつなぎ方

音声 AI エージェントは、声の入り口ごとにつなぎ方が違います。

入り口	よくあるつなぎ方	向いている用途
電話	クラウド電話（Twilio など）の音声を WebSocket で流す	予約・問い合わせの受付、時間外の受付
Web	ブラウザから WebRTC でつなぐ	サイトの案内、申し込みの相談
アプリ	iOS・Android のアプリから WebRTC でつなぐ	英会話の練習、アバターの接客

電話の場合、エージェントの側が電話番号を持つ必要はありません。いまの番号と回線はそのままに、着信の音声だけをエージェントに渡す形が作りやすく、止まったときにいつもの流れに戻しやすくなります。Twilio でのつなぎ方は Twilio Media Streams で電話を音声 AI につなぐにまとめています。

任せやすい電話と向かない電話

任せやすいのは、聞くことと答えることが前もって決まっている電話です。

予約の受付・変更・取り消し（飲食店・歯科医院・整備工場など）
営業時間外の用件の聞き取りと、翌営業日の折り返しの手配
営業時間・場所・持ち物など、よくある質問への答え
サポート窓口の一次受け（会社名と用件を聞いて担当につなぐ）

反対に、次のような話は AI だけで完結させない方が安全です。

苦情や、強い感情が込められた話
値引きや契約の条件など、判断や交渉が要る話
体調の急変など、急ぎで人が判断すべき話

こうした話は「人に引き継ぐ条件」として最初から決めておきます。引き継ぎの設計は AI から人への引き継ぎの設計で扱います。

作るときに決めること

音声 AI エージェントを作るときは、技術より先に、次の 5 つを決めておくと迷いません。

役割と話し方: だれとして、どんな口調で話すか（例: 歯科医院の落ち着いた受付）。
聞き取る項目: 名前・電話番号・用件など、通話の終わりに必ずそろえたいもの。
よくある質問と答え: その場で答えてよいことと、その答え。
人に引き継ぐ条件: AI が対応をやめて、人に渡す場面。
結果の受け取り方: 聞き取った内容や通話の結果を、どのシステムに残すか。

指示文の書き方は電話受付 AI の指示文の書き方で具体例とともに説明しています。

voicast での音声 AI エージェント

voicast は、開発者向けの音声 AI エージェント基盤です。上の 5 つを「会話の設定」（役割と話し方・あいさつ・聞き取る項目・引き継ぐ条件・締めのことば・よくある質問）として管理画面か API で決めると、AI がその通りに会話します。電話はお使いの Twilio などから <Connect><Stream> で、Web・アプリは WebRTC でつなぎ、結果（completed・answered・handoff・hangup・error）と聞き取った項目は API と Webhook で受け取れます。電話番号や画面はお使いのシステムのまま、会話の部分だけを組み込むことができます。全体の流れはしくみをご覧ください。

よくある質問

音声 AI エージェントと IVR はどう違いますか。

IVR は「1 は予約、2 は…」のように番号を押させて、決めた分かれ道に沿って進みます。音声 AI エージェントは相手が自分の言葉で話した内容を聞き取り、役割に沿ってその場で返事を組み立てます。メニューを覚えなくてよいので、相手の手間が少なくなります。

電話番号を新しく取る必要はありますか。

つなぎ方によります。クラウド電話の音声を WebSocket で受ける形なら、いまお使いの番号と回線のまま、着信の音声だけをエージェントに渡すことができます。voicast も電話番号・回線を持たず、お使いの Twilio などから音声を受けます。

どんな電話から任せるのがよいですか。

聞くことと答えることが決まっている電話からがおすすめです。予約の受付や営業時間外の用件の聞き取りは、聞き取る項目と終わり方がはっきりしているので、結果を確かめやすく、始めやすい用途です。