# 音声 AI エージェントとは：電話・Web・アプリで会話する AI の仕組みと使いどころ

> 音声 AI エージェントは、相手の声を聞き取り、生成 AI で返事を考え、声で答えながら仕事を進める AI です。1 回の受け答えの流れ、IVR やチャットボットとの違い、電話・Web・アプリへのつなぎ方、任せやすい電話と向かない電話を説明します。

公開日: 2026-09-19
Source: https://voicast.jp/blog/what-is-voice-ai-agent

## 要点

- 音声 AI エージェントは、音声認識・生成 AI・音声合成を組み合わせ、相手と声で受け答えしながら、決められた役割の仕事（用件の聞き取り・予約・質問への答え）をこなす AI です。
- 番号を押させる IVR と違い、相手は自分の言葉で話せます。台本どおりにしか動かない従来の音声ボットと違い、言い方の揺れや話の前後にも合わせられます。
- 向いているのは、聞くことと答えることが決まっている定型の電話です。判断や交渉が要る話は、人に引き継ぐ前提で設計します。

音声 AI エージェントは、相手の声を文字に起こし（音声認識）、生成 AI で返事を考え、その返事を声にして（音声合成）答える AI です。単に話すだけでなく、「予約の受付」「用件の聞き取り」のように決められた役割を持ち、名前や電話番号を聞き取ったり、予約システムを調べたり、必要なら人に引き継いだりします。電話・Web・アプリのどこでも、声の入り口さえあれば使うことができます。

## 音声 AI エージェントの定義

音声 AI エージェントとは、**声で会話しながら、仕事を最後まで進める AI** のことです。「エージェント」と呼ぶのは、ただ質問に答えるだけでなく、目的に向かって自分で次の行動を選ぶからです。

たとえば歯科医院の予約の電話なら、エージェントは次のことを 1 本の通話の中で行います。

- あいさつをして、用件を聞く
- 名前・折り返しの電話番号・希望の日時を聞き取る
- 予約システムの API で空きを調べる
- 聞き取った内容を読み上げて確かめる
- 「先生と直接話したい」と言われたら、スタッフに引き継ぐ

人の受付が電話でしていることを、決めた範囲で代わりに行うものと考えると分かりやすいでしょう。

## 1 回の受け答えの流れ

音声 AI エージェントの 1 回の受け答えは、次の順に進みます。

1. **声を受け取る**: 電話の回線や、ブラウザ・アプリのマイクから、音声が少しずつ届きます。
2. **話し終わりを判定する**: 声のある区間とない区間を見分け（VAD）、相手が話し終えたかを決めます。
3. **文字に起こす**: 音声認識で、相手の発話を文章にします。
4. **返事を考える**: 生成 AI（LLM）が、役割の指示・これまでの会話・聞き取った項目を踏まえて返事を作ります。必要なら、予約の空きの照会のような外部の API（道具）を呼びます。
5. **声にする**: 音声合成で返事を声にして、相手に流します。
6. **割り込みに備える**: AI が話している途中で相手が話し始めたら、話すのをやめて聞きます（バージイン）。

この 6 つが毎回つながって動くので、どこか 1 つが遅いと、会話全体が「間の悪い」ものになります。遅れが出る場所と縮め方は、[音声 AI の応答の遅れ](https://voicast.jp/blog/voice-ai-latency)で詳しく説明しています。

## IVR・チャットボットとの違い

いちばん大きな違いは、**相手が自分の言葉で話せること**と、**会話の流れを AI がその場で組み立てること**です。

| | IVR（番号の押し分け） | テキストのチャットボット | 音声 AI エージェント |
|---|---|---|---|
| 相手の入力 | 電話のボタン | 文字 | 声（自分の言葉） |
| 流れ | 決めた木構造のまま | 決めた流れか、生成 AI | 生成 AI が役割に沿って組み立てる |
| 言い方の揺れ | 扱えない | 文字なら扱える | 扱える（聞き間違いへの備えが要る） |
| 使える場所 | 電話 | Web・アプリ | 電話・Web・アプリ |
| 設計で気をつけること | メニューの深さ | 画面の導線 | 応答の速さ・聞き取りの確かめ・引き継ぎ |

テキストのチャットボットと比べると、音声には「目で見て直せない」という難しさがあります。電話番号を聞き間違えても、相手は画面で確かめられません。そのため、聞き取った内容を読み上げて確かめる流れが欠かせません。

## 電話・Web・アプリへのつなぎ方

音声 AI エージェントは、声の入り口ごとにつなぎ方が違います。

| 入り口 | よくあるつなぎ方 | 向いている用途 |
|---|---|---|
| 電話 | クラウド電話（Twilio など）の音声を WebSocket で流す | 予約・問い合わせの受付、時間外の受付 |
| Web | ブラウザから WebRTC でつなぐ | サイトの案内、申し込みの相談 |
| アプリ | iOS・Android のアプリから WebRTC でつなぐ | 英会話の練習、アバターの接客 |

電話の場合、エージェントの側が電話番号を持つ必要はありません。いまの番号と回線はそのままに、着信の音声だけをエージェントに渡す形が作りやすく、止まったときにいつもの流れに戻しやすくなります。Twilio でのつなぎ方は [Twilio Media Streams で電話を音声 AI につなぐ](https://voicast.jp/blog/twilio-media-streams-voice-ai)にまとめています。

## 任せやすい電話と向かない電話

任せやすいのは、**聞くことと答えることが前もって決まっている電話**です。

- 予約の受付・変更・取り消し（飲食店・歯科医院・整備工場など）
- 営業時間外の用件の聞き取りと、翌営業日の折り返しの手配
- 営業時間・場所・持ち物など、よくある質問への答え
- サポート窓口の一次受け（会社名と用件を聞いて担当につなぐ）

反対に、次のような話は AI だけで完結させない方が安全です。

- 苦情や、強い感情が込められた話
- 値引きや契約の条件など、判断や交渉が要る話
- 体調の急変など、急ぎで人が判断すべき話

こうした話は「人に引き継ぐ条件」として最初から決めておきます。引き継ぎの設計は [AI から人への引き継ぎの設計](https://voicast.jp/blog/ai-to-human-handoff)で扱います。

## 作るときに決めること

音声 AI エージェントを作るときは、技術より先に、次の 5 つを決めておくと迷いません。

1. **役割と話し方**: だれとして、どんな口調で話すか（例: 歯科医院の落ち着いた受付）。
2. **聞き取る項目**: 名前・電話番号・用件など、通話の終わりに必ずそろえたいもの。
3. **よくある質問と答え**: その場で答えてよいことと、その答え。
4. **人に引き継ぐ条件**: AI が対応をやめて、人に渡す場面。
5. **結果の受け取り方**: 聞き取った内容や通話の結果を、どのシステムに残すか。

指示文の書き方は [電話受付 AI の指示文の書き方](https://voicast.jp/blog/phone-receptionist-prompt)で具体例とともに説明しています。

## voicast での音声 AI エージェント

voicast は、開発者向けの音声 AI エージェント基盤です。上の 5 つを「会話の設定」（役割と話し方・あいさつ・聞き取る項目・引き継ぐ条件・締めのことば・よくある質問）として管理画面か API で決めると、AI がその通りに会話します。電話はお使いの Twilio などから `<Connect><Stream>` で、Web・アプリは WebRTC でつなぎ、結果（completed・answered・handoff・hangup・error）と聞き取った項目は API と Webhook で受け取れます。電話番号や画面はお使いのシステムのまま、会話の部分だけを組み込むことができます。全体の流れは [しくみ](https://voicast.jp/#how) をご覧ください。

## よくある質問

### 音声 AI エージェントと IVR はどう違いますか。

IVR は「1 は予約、2 は…」のように番号を押させて、決めた分かれ道に沿って進みます。音声 AI エージェントは相手が自分の言葉で話した内容を聞き取り、役割に沿ってその場で返事を組み立てます。メニューを覚えなくてよいので、相手の手間が少なくなります。

### 電話番号を新しく取る必要はありますか。

つなぎ方によります。クラウド電話の音声を WebSocket で受ける形なら、いまお使いの番号と回線のまま、着信の音声だけをエージェントに渡すことができます。voicast も電話番号・回線を持たず、お使いの Twilio などから音声を受けます。

### どんな電話から任せるのがよいですか。

聞くことと答えることが決まっている電話からがおすすめです。予約の受付や営業時間外の用件の聞き取りは、聞き取る項目と終わり方がはっきりしているので、結果を確かめやすく、始めやすい用途です。