Loka が Amazon Nova 2 Sonic を活用した低遅延・自然な音声エージェントを構築

[Loka](https://www.loka.com/) は、[Amazon Nova 2 Sonic](https://nova.amazon.com/sonic) を活用した会話型 AI エージェントを構築することで、顧客との音声対話を革新し、自然で応答性の高い体験を通じて顧客の関与を維持しています。彼らの AWS ベースのソリューションは、[Big Bench Audio](https://huggingface.co/datasets/ArtificialAnalysis/big_bench_audio) において高い音声推論精度を実現すると同時に、従来の音声 AI パイプラインと比較して大幅なコスト削減と応答時間の短縮をもたらします。本稿では、ロボットのようであり遅い音声アシスタントが顧客に電話を切られさせ、ブランドの評判を損ない、サポートコストを増大させるという一般的な課題に対し、Loka がどのようにアーキテクチャとアプローチで解決したかを紹介していきます。 ## 従来の音声アシスタントの限界 従来の音声アシスタントは、根本的な問題を生み出す 3 つのステップのプロセスに従います。まず、音声認識システム（Speech-to-Text）を使用して、お客様の発話をテキストに変換します。次に、そのテキストを大規模言語モデル（LLM: Large Language Model）で処理します。最後に、テキスト応答をテキスト読み上げ技術（Text-to-Speech）を用いて再び音声に変換します。このパイプラインは各ステップで遅延が重なり合います。その結果、応答を聞くまでに通常 3 秒から 5 秒の一時停止が生じます。この遅延は、自然な会話という感覚を損なってしまいます。また、アシスタントへの割り込みや訂正を試みるときにも、ぎこちなくイライラするものにしてしまいます。 自動車ディーラーでの実際のシナリオを考えてみましょう。顧客が電話をかけて、「広告に出ているあの SUV を探しているのですが、ハイブリッド車ではなく、午後 5 時以降しか来られません」と言います。アシスタントは複数の情報を同時に解析する必要があります。意図、否定、スケジュールの制約を理解しなければなりません。従来のシステムはこの複雑さに苦戦します。なぜなら、変換過程で重要な情報が失われてしまうからです。トーン、ためらい、緊急性は、音声からテキストに変換される際に消えてしまいます。ディーラーという文脈において、これらの限界が痛烈に浮き彫りになります。顧客は電話をかければ即座に役立つ回答を期待します。販売の会話の中で 5 秒の一時停止は永遠のように感じられます。さらに悪いことに、アシスタントが誤解して確認が必要になると、遅延が重畳します。会話は有益なものではなく、退屈なもので終わってしまいます。 技術的な遅延に加えて、経済的な問題もあります。数千もの場所に対応するには厳格なコスト管理が必要です。従来のリアルタイム音声システムは、特に連続するオーディオストリームを処理する場合、スケールすると費用対効果が著しく低下し、実用的でなくなる可能性があります。体験の質の低さと高コストという組み合わせが、音声 AI の普及を制限してきました。企業にはより良いソリューションが必要なのです。 ## ネイティブ音声対音声モデル AI の最近の進展により、根本的に異なるアプローチが可能になりました。開発者は今や、理解、推論、生成を統合システムとして処理する音声対音声モデルにオーディオストリームを直接送信できます。オーディオをエンドツーエンドで処理することで、これらのモデルは従来のテキスト専用パイプラインでは見逃されるトーン、感情、微妙な手がかりを捉えることができます。 このアプローチを検証するには、厳格なテストが不可欠でした。私たちは、音声入力に対する推論能力を測定するベンチマークである [Big Bench Audio](https://huggingface.co/datasets/ArtificialAnalysis/big_bench_audio) を使用しました。[Amazon Nova 2 Sonic](https://nova.amazon.com/sonic) は、音声推論スコアで 87.0 を達成しました。これは、71.0 の [Gemini 2.5 Flash Native Audio (Live API)](https://docs.cloud.google.com/vertex-ai/generative-ai/docs/models/gemini/2-5-flash-live-api) や、83.0 の [GPT Realtime](https://developers.openai.com/api/docs/models/gpt-realtime) を上回る結果でした。これらのスコアは、ネイティブオーディオ処理が速度のために知能を犠牲にしないことを確認するものでした。このモデルは、実際の販売店シナリオにおける複雑で多段階の要求もリアルタイムで処理できました。 ![image](https://d2908q01vomqb2.cloudfront.net/f1f836cb4ea6efb2a0b1b99f41ad8b103eff4b59/2026/06/02/ML-20376-1.png) *図 1 – 音声推論スコアの比較 – Big Bench Audio* 推論能力だけでは、本番システムには不十分です。レイテンシ（応答遅延）が会話の自然さやロボットっぽさを決定します。Nova 2 Sonic は、最初の音声出力までの時間を 1.39 秒で達成しました。この応答速度により、自然な「バージイン」動作が可能になります。ユーザーが会話を中断した場合でも、音声エージェントは自然に対応します。この体験は人間の会話パターンと一致しています。 ![image](https://d2908q01vomqb2.cloudfront.net/f1f836cb4ea6efb2a0b1b99f41ad8b103eff4b59/2026/06/02/ML-20376-2.png) *図 2 – 最初の音声出力までの時間比較 – Big Bench Audio* コスト効率も向上しました。[Nova 2 Sonic の料金は、入力音声あたり約 1 時間 0.27 ドル](https://aws.amazon.com/nova/pricing/)です（公開時点の価格に基づく）。これは、同等のリアルタイムモデルや従来の手法よりも低コストです。 ![image](https://d2908q01vomqb2.cloudfront.net/f1f836cb4ea6efb2a0b1b99f41ad8b103eff4b59/2026/06/02/ML-20376-3.png) *図 3 – 音声あたりの時間別料金比較 – Big Bench Audio* 遅延やコストを超えた品質を測定するため、構造化された評価が必要でした。そこで、LLM をジャッジとして用いた自動化パイプラインを構築しました。各会話は 1 から 5 のスケールで 5 つの次元について採点されました。「応答の適切性」は、返信が関連性があり文脈的に正しいかどうかを測定します。「意図理解」は、エージェントがユーザーの根本的な目的を理解しているかを評価します。「完全性」は、必要な情報やアクションが提供されたかを追跡します。「会話的自然さ」は、流れ、ターン取り、トーン、人間らしさを測定します。 Amazon Nova Sonic と Amazon Nova 2 Sonic を比較すると、明確な進歩が見られました。応答の適切性は 2.5 から 2.9 に向上しました。意図理解は 2.9 から 3.0 に上昇しました。最も顕著なのは、完全性が 1.8 から 2.5 に跳ね上がったことです。これは、エージェントが複雑なタスクを完了する可能性が格段に高まったことを意味します。会話的自然さは 2.5 から 2.8 に改善されました。総合スコアは 2.4 から 2.7 に増加しました。これらの向上は、ディーラーにおける顧客成果の直接的な改善につながりました。 **指標 (1-5 スケール)** **Nova Sonic (ベースライン)** **Nova 2 Sonic** **変化** **応答の適切性** 2.5 **2.9** **+0.4** **意図理解** 2.9 **3.0** **+0.1** **完全性** 1.8 **2.5** **+0.7** **会話的自然さ** 2.5 **2.8** **+0.3** **総合ジャッジスコア** 2.4 **2.7** **+0.3** *表1 – 5 つの次元における音声対音声モデルのメトリクス比較* ## 会話型 AI エージェントのエンジニアリング 強力な基盤モデルを有する中で、次の課題は最適化でした。私たちはプロンプトをコードのように扱い、測定されたパフォーマンスに基づいて反復しました。ベースラインとなる Nova 2 Sonic の構成スコアは全体で 2.7 でした。最初のプロンプト改良後、スコアは 3.1 に上昇しました。2 回目の反復では 5.0 中 3.8 を達成しています。この改善は、より優れたターン制御と繰り返し抑制によるものです。エージェントは、話す時、聞く時、そして確認質問をするべき時を学習しました。 **構成** **応答** **適切性** **意図理解** **完全性** **エラー回復** **会話的** **自然さ** **全体** **審査員スコア** **Amazon Nova 2 Sonic (ベースライン)** 2.9 3.0 2.5 2.6 2.8 2.7 **Amazon Nova 2 Sonic (プロンプト v1)** 3.2 3.3 3.0 2.8 3.9 3.1 **Amazon Nova 2 Sonic (プロンプト v2)** **3.7** **3.9** **3.9** **3.8** **4.1** **3.8** *表2 – プロンプト強化後の 5 つの次元における音声対音声モデルのメトリクス比較* チームはベースラインプロンプトをいくつかの側面で強化し、2 つのプロンプトテンプレートへと進化させました。ハードコードされたディーラーの詳細情報を、{assistant_name} や {dealership_address} といったテンプレート化された変数に置き換えることで、この変更によりどのディーラーでも再利用可能なプロンプトとなりました。 チームは書式を番号付きリストから、明確な見出しの下にある箇条書きへと移行しました。「ツール使用ルール」「エラー回復」「会話の終了」などの見出しが、モデルに対してより明確な行動境界を与えました。この構造により、トピック間の指示の混同（インストラクション・ブリード）が減少しました。 チームはプロンプト全体に具体的な行動例を追加しました。これらの例では、通話者の発言をそのまま繰り返さずにどう acknowledgments を行うかを具体的に示しています。また、すべての返信前にモデルが自己監査を行うよう促す事前チェックリストも導入されました。 [Amazon Bedrock Prompt Management](https://aws.amazon.com/bedrock/prompt-management/) は、このライフサイクル全体にとって自然な拠点となりました。これにより、チームは各テンプレートバージョンを一意の Amazon Resource Name (ARN) で保存できるようになりました。アプリケーションコードを変更することなく、変更内容をドラフトから本番環境へプロモートすることが可能になります。 新しいディーラーがオンボーディングされる際、その固有の変数は [Amazon Bedrock](https://aws.amazon.com/bedrock/) API を通じてランタイム時に注入されます。これにより、コアとなるプロンプトはすべてのクライアントに対して共通して提供されながら、完全にカスタマイズ可能という状態を維持しています。 チームは、プロンプトの変更を作者、承認者、またはデプロイする者を制限するために [AWS Identity and Access Management (AWS IAM)](https://aws.amazon.com/iam/) のアクセス制御を追加しました。これにより、以前は非公式な編集プロセスであったものに、適切なガバナンス層が導入されました。 このアプローチにより、プロンプトエンジニアリングは単発のタスクから、反復可能で監査可能なワークフローへと変化しました。ディーラー数とユースケースが増えるにつれて、このワークフローもスケールしていきました。 実世界でのテストには、実際のディーラー通話に匹敵するエッジケースが必要でした。怒った顧客、忙しい親、おしゃべりな顧客、混乱した顧客、そして高齢の電話客を想定してテストを行いました。 「忙しい親」シナリオは 5 つの次元すべてで 5.0 のスコアを獲得しました。エージェントは割り込み、背景ノイズ、時間的プレッシャーを完璧に処理しました。「怒った顧客」ケースでは全体として 4.5 のスコアでした。エージェントは冷静さを保ち、共感的かつ解決策指向の対応を行いました。「混乱した顧客」シナリオも 4.5 のスコアでした。エージェントは威圧的に聞こえることなく、忍耐強く説明を澄清しました。 **チャット例** **回答の適切性** **意図の理解** **完全性** **エラー回復** **会話的自然さ** **全体評価スコア** **怒った顧客** 4.5 4.5 4.0 4.5 4.5 4.5 **忙しい親の顧客** 5.0 5.0 5.0 5.0 5.0 5.0 **おしゃべりな顧客** 3.5 3.0 2.5 2.0 4.0 3.0 **混乱した顧客** 4.5 4.5 4.5 5.0 4.5 4.5 **高齢の顧客** 3.5 3.0 2.5 2.0 4.0 3.0 **平均** **4.2** **4.0** **3.7** **3.7** **4.4** **4.0** *表 3 – 顧客ペルソナに基づく音声対音声モデルの評価* 2 つのシナリオで、さらなる改善の余地が明らかになりました。チャット好きな顧客と高齢の顧客のケースはどちらも総合評価が 3.0 でした。ユーザーが入力する内容が長く、蛇行している場合、音声エージェントは構造化に苦戦しました。これらの状況では完全性スコアは 2.5 に低下し、エラー回復力は 2.0 まで落ち込みました。これらの結果は、今後のプロンプトエンジニアリングにおいて明確な改善領域を特定するものでした。それでも、平均的なエッジケースのスコアが 4.0 だったことは、実世界での運用準備が整っていることを示しています。 本番環境への展開には適切なアーキテクチャの構築が重要でした。私たちは [LiveKit](https://livekit.io/) をトランスポート層として用いたサーバーレスでイベント駆動型のシステムを設計しました。LiveKit は、Web クライアント向けの [WebRTC](https://webrtc.org/) や電話通話用の [セッション開始プロトコル (SIP)](https://www.sipforum.org/technology/sip-technology/) の複雑さを抽象化します。これにより、エンジニアリングチームはエージェントロジックの構築に完全に集中することができました。 ![image](https://d2908q01vomqb2.cloudfront.net/f1f836cb4ea6efb2a0b1b99f41ad8b103eff4b59/2026/06/02/ML-20376-4.png) *図 4 – 会話型 AI アシスタント – ソリューションアーキテクチャ* 音声エージェントは、会話中にアシスタントが実行できるアクションを表す Python 関数ベースのツールを通じて、ディーラー業務と統合されます。一般的なツールには、在庫検索、予約管理、顧客データ照会が含まれます。これらのツールは、Amazon Nova 2 Sonic とバックエンドサービス間の統合層として機能します。モデルはツールの使用タイミングを判断し、Python 関数が対応する GraphQL クエリまたはミューテーションを実行して、構造化データをエージェントに返します。 [AWS Fargate](https://aws.amazon.com/fargate/) が計算層を提供しました。LiveKit エージェントは [Amazon Elastic Container Service (Amazon ECS)](https://aws.amazon.com/pm/ecs) 上でコンテナ化されました。これにより、エージェントワーカーとメディアサーバーを独立してスケールできるようになりました。ディーラーの繁忙時間帯にはリソースを動的に最適化できます。[Amazon Relational Database Service (Amazon RDS)](https://aws.amazon.com/rds/) は、ディーラー設定、会話履歴、顧客記録など、構造化アプリケーションデータの永続的な関係型ストレージとして使用されました。 リアルタイム音声エージェントはデータベースの遅延を許容できません。[Amazon ElastiCache](https://aws.amazon.com/elasticache/) は、分散タスクにわたるルーム管理と一時的なセッション調整を担当するために使用されます。Amazon Bedrock により、Nova 2 Sonic モデルへの直接アクセスが可能になりました。 ブラウザクライアントは、ピアツーピアのオーディオ、ビデオ、データ伝送のためのオープンソースフレームワークである [WebRTC](https://webrtc.org/)（Web Real-Time Communications）を使用して接続されています。従来の電話通話は、ネットワークロードバランサーを介してルーティングされる SIP トランクを通じて入力されました。これにより、メディアパケットに対する TCP/UDP のスループットが可能になりました。 観測機能は、AWS でセルフホストされた [Langfuse](https://langfuse.com/) から提供されました。これは、すべてのエージェントの意思決定とツール呼び出しを追跡します。このデータは、継続的な改善のために評価パイプラインにフィードバックされます。 ## デモ 以下の動画で機能を実演しています。 ## 対話型 AI の新たな基準 テキストベースのチャットボットからリアルタイム音声エージェントへの移行は、単なるインターフェースの変更を超えています。これは根本的に異なるインフラと思考を必要とします。Nova 2 Sonic は、3 つの重要なエンジニアリング要件を同時に満たしています。第一に、中間的なテキスト変換なしで高い推論能力を提供することです。第二に、自然な人間のような割り込みを可能にする低遅延を実現することです。第三に、数千の場所でのコスト効果の高い生産環境としての実現可能性を提供することです。 自動車ディーラーにとって、この技術はすでに生産現場で収益を生み出しています。顧客は電話をかけると即座に役立つ回答を受け取ります。複雑なリクエストも、単一の会話内でスムーズに処理されます。予約は、イライラさせる行き来のやり取りを避けて正しくスケジュールされます。 その影響は自動車販売の範囲を超えて広がり、リアルタイムかつ知的な音声対話を必要とするあらゆる産業が恩恵を受けることができます。自然な会話を通じて休暇全体を計画する旅行代理店を想像してみてください。あなたの話し方や学習ペースに合わせて適応する教育用チューターを思い浮かべてみてください。複雑な保険や空き状況の問い合わせに対応する医療予約システムもその一例です。 音声対音声 AI はすでに実用段階に達しています。AWS 環境で Nova 2 Sonic の実験を開始し、プロトタイプを作成し、エッジケースを検証し、貴社のビジネスにおいて何が実現可能かを探求してください。 本記事は、実用レベルの AI ソリューション構築を専門とする AWS と Loka の共同執筆によるものです。Loka チームはすでにアーキテクチャ、評価、最適化に関する困難な課題を解決しています。彼らの自動車ディーラーにおける経験は、他の産業にも直接応用可能です。 音声対音声 AI はまだ黎明期にあります。最良のアプリケーションはまだ発明されていません。貴社の業界知識とこの技術を組み合わせることで、画期的なソリューションが生まれる可能性があります。[Nova 2 Sonic](https://nova.amazon.com/sonic) と

Loka が Amazon Nova 2 Sonic を活用した低遅延・自然な音声エージェントを構築

背景や根拠まで確認しますか？

このニュースを、実務の判断につなげる

関連記事

調べる

選ぶ

サイト