Amazon Nova 2 Sonic を用いたテキストエージェントから音声アシスタントへの移行

テキストエージェントから音声アシスタントへの移行は、ユーザーがより高速で自然な対話を求めるようになっているため、ますます重要になっています。入力する代わりに、顧客はリアルタイムで話し、理解することを望んでいます。金融、医療、教育、ソーシャルメディア、小売などの業界では、[Amazon Nova 2 Sonic](https://aws.amazon.com/ai/generative-ai/nova/speech/) を活用したソリューションを検討しており、大規模な自然なリアルタイム音声対話を実現しようとしています。 本稿では、Amazon Nova 2 Sonic を用いて従来のテキストエージェントを会話型音声アシスタントへ移行するために必要な要素を探ります。テキストと音声の要件を比較し、異なるユースケースにおける設計上の優先事項を強調するとともに、エージェントアーキテクチャを分解し、再利用のためのツールやサブエージェント、システムプロンプトの適応などに関する一般的な懸念点についても取り上げます。本稿は、移行プロセスをナビゲートし、よくある落とし穴を回避するための指針となります。 また、Nova サンプルリポジトリには、Kiro や Claude Code といった AI IDE と連携して、テキストエージェントを自動的に音声エージェントに変換する [Skill](https://github.com/aws-samples/amazon-nova-samples/tree/main/skills/text-agent-to-strands-voice-agent) も用意されています。 ## テキストエージェントと音声アシスタントは異なる課題である テキストエージェントから音声アシスタントへの移行は、ビジネスロジックを変更せずに音声インターフェースを追加するだけのように思えるかもしれませんが、以下の観点からその違いを理解することが重要です。 **側面** **テキストエージェント** **音声アシスタント** ユーザー入力 タイプされたテキスト：ユーザーが自分のペースで読み、スクロールし、コピー＆ペーストを行う 音声ストリーム：リアルタイム、割り込み可能（バーギン）、一時停止の意味も重要 応答スタイル 段落、リスト、テーブル、リンク：豊富な書式設定、すべての情報を一度に提供 短い発話、一度に一つのこと：「続けますか？」という確認ループ付き レイテンシ予算 ミドルレイテンシ許容範囲：タイピングインジケーターが待ち時間を隠す 超低レイテンシ必須：沈黙は何か壊れていると感じさせる ターン交替（やり取りの切り替え） 厳格な要求→応答：ユーザーが入力し、Enter キーを押し、待つ 流れるような、重なり合う、割り込み可能な：音声活動検出（VAD）＋ターン検出、バーギン機能が必要 転送プロトコル HTTP / REST / サーバーサイドイベント：ステートレスな要求応答モデル 双方向ストリーミング：永続的な接続、双方向のリアルタイム音声通信 これらの課題をよりよく乗り越えるために、テキストエージェントと音声アシスタントの主な違いとその違いが設計と実装にどう影響するかを分解してみましょう。 ## 応答デザイン テキストエージェントは、ユーザーが自分のペースで読めるように段落を提供するために構築されています。必要に応じて戻り読みし、コンテンツをコピーし、リンクを追跡します。一方、音声エージェントは根本的に異なる媒体で動作します。応答は会話的であり、簡潔で、読むためではなく聴くために注意深く構造化される必要があります。 銀行の顧客対応エージェントが口座情報を返す例を考えてみましょう： **テキストエージェントの応答：** アカウントの概要はこちらです： - 普通預金（****4521）：3,245.67 ドル - 貯蓄口座（****8903）：12,450.00 ドル - クレジットカード（****2187）：-1,823.45 ドル（支払期限：3月15日） どのアカウントをクリックしても、詳細な取引履歴を確認できます。 **音声エージェントの応答：** 「お持ちの口座は3つあります。普通預金は末尾が4521で、残高は3,245ドルです。他の口座もご説明しましょうか、それともこの口座の詳細をお求めですか？」 音声エージェントは情報を理解しやすい断片に分割し、続行する前に確認を求めます。これは*自律的な会話スタイル***であり、一度にすべてを押し付けるのではなく、ユーザーを先導します。 ## レイテンシ・バジェット（遅延許容範囲） テキスト利用者は中程度のレイテンシ（遅延）に耐性があります。タイピングインジケーターが表示されれば待機できますが、音声利用者は遅延を即座に感知します。会話中に沈黙が生じると、通話線が切れたように感じられます。このため、エージェントのアーキテクチャ設計は以下のように変化します： | 要因 | テキストエージェント | 音声エージェント | |---|---|---| | 許容応答時間 | 中程度のレイテンシ耐性：ロードインジケーター表示中に数秒待機することは許容される。 | 低レイテンシ耐性：会話は数百ミリ秒以内で、最初の音声はできるだけ早く提供されるべきです。特にツール呼び出し中の数秒の遅延は、応答がないように感じられます。 | | ツール呼び出しへの耐性 | 複数の連続呼び出しは問題なし | 各呼び出しごとに目立つ沈黙が生じる | | ストリーミング | あれば望ましい | 必須 | **技術用語注記：** - レイテンシ（Latency）：処理や通信における遅延時間。 - ツール呼び出し（Tool call）：外部機能やデータソースへのリクエスト実行。 - ストリーミング（Streaming）：データを断続的に送信・受信する方式。 非同期ツールハンドリング あれば望ましい機能 必須機能 Amazon Nova 2 Sonic は [非同期ツール呼び出し](https://docs.aws.amazon.com/nova/latest/nova2-userguide/sonic-async-tools.html) をサポートしており、バックグラウンドでツールが実行されている間も会話が自然に続きます。入力を受け付け続け、複数のツールを並列で実行可能であり、ユーザーが処理中にリクエストを変更しても柔軟に対応し、関連する情報に焦点を当てながらすべての結果を提供します。 ## 話者交代と割り込み テキスト会話には本質的にターンベースの性質があります。ユーザーが入力して Enter キーを押すと、応答を待機します。一方、音声会話は流動的です。ユーザーは途中で割り込み（バージイン）、文の途中でも一時停止し、エージェントが重なる発話を自然に処理することを期待します。Amazon Nova 2 Sonic などのネイティブ音声対音声モデルは、組み込まれた音声活動検出 (VAD: Voice Activity Detection) と話者交代検出を内部で活用してこれを処理します。Nova 2 Sonic は会話の文脈を管理し、各ターンごとに完全な履歴を送信する必要はありません。 ## アーキテクチャからの移行 これらの違いを念頭に置き、システムを3 つの主要コンポーネントに分割し、それぞれがどのように進化するかを検討することで、アーキテクチャの観点から移行を分解してみましょう。テキストエージェントの概念設計は、以下の 3 つのコンポーネントで構成されます： - クライアントアプリケーション（Web、モバイル、または IoT インターフェースなど）。 - システムプロンプト、ツール、会話の文脈を管理するテキストオーケストレーター。 - API、データベース、ワークフロー、検索拡張生成（RAG: Retrieval Augmented Generation）パイプライン、またはサブエージェントなど、お客様のシステムに接続するツール統合機能。 このアーキテクチャを音声エージェントへ移行する場合、これらのコンポーネントはそのまま残りますが、それぞれが音声固有のロジックをサポートするために異なる変更を必要とします。 ## クライアントアプリケーション エージェントクライアントは、通常、デプロイメントの文脈に応じて、Web ブラウザ、モバイルアプリ、または IoT デバイスで使用されるプログラミング言語およびシステムで実装されます。音声エージェントクライアントには、永続的な双方向接続（WebSocket または WebRTC など）が必要であり、オーディオのエンコーディング/デコーディング、クライアントイベント、バージインロジック、ノイズ制御、文字起こしの表示を処理します。これは通常、ステートレスな REST または一方通行の HTTPS ストリーミングインターフェースを通じてエージェントと通信するテキストクライアントよりもはるかに複雑です。 その結果、このコンポーネントにはリファクタリングまたは完全な書き換えが必要になることが一般的です。例えば、[Streamlit](https://streamlit.io/) フロントエンドで構築された概念実証（PoC）では、双方向接続をサポートするために [React](https://react.dev/) などの JavaScript フレームワークを使用して再構築する必要がある可能性が高いです。 WebSocket を使用した軽量な音声エージェント Web クライアントアプリケーションについては、[こちらの手本](https://github.com/aws-samples/amazon-nova-samples/tree/main/speech-to-speech/amazon-nova-2-sonic/sample-codes/agentcore/strands/client)を参照してください。 ## オーケストレーター エージェントオーケストレーターは、テキストまたは音声エージェントを構築する際の中心的なハブです。システムプロンプトの管理、ツールやサブエージェントの選択とルーティング、会話コンテキストの維持を行い、相互作用の一貫性を保ちつつエージェントの役割に整合させる役割を果たします。テキストエージェントでは、オーケストレーターはクライアントと推論モデル間のリクエストとレスポンスを処理し、ビジネスロジックを発動するためのツールを統合します。音声オーケストレーターも同様の原則に従いますが、オーディオストリーミング、音声活動検出（Voice Activity Detection: VAD）、自動音声認識（Automatic Speech Recognition: ASR）、推論、およびテキスト読み上げ（Text-to-Speech: TTS）の機能を追加します。Amazon Nova 2 Sonic はこれらの機能を統合した双方向ストリーミングインターフェースを提供しており、ユーザーはテキストエージェントから推論プロンプトやツールトリガーを移行することで、音声へのスムーズな移行を実現できます。 従来のテキストエージェントアーキテクチャとの重要な違いの一つは、Amazon Nova 2 Sonic が**同じモデルインターフェースでテキストと音声の両方の入力を接受できる**点です。これは、Sonic がテキストオーケストレーターで通常使用されるスタンドアロンの推論用言語モデルを直接置き換えられることを意味します。個別の ASR（音声認識）→ LLM（大規模言語モデル）→ TTS（音声合成）コンポーネントを連鎖させるのではなく、Sonic は音声認識、推論、ツール利用、音声合成を単一の双方向モデルに統合しています。これにより、チームは既存のプロンプトやツールを再利用しながらアーキテクチャを簡素化し、レイテンシを削減でき、音声スタック内で別個のテキスト推論モデルを管理する必要もなくなります。 以下のコードスニペットは、大規模言語モデル（LLM）として [Amazon Nova 2 Lite](https://docs.aws.amazon.com/ai/responsible-ai/nova-2-lite/overview.html) を使用して [Strands Agents](https://strandsagents.com/) で構築されたサンプルテキストエージェントを示しています。このエージェントは定義済みのツールを持ち、[Strands BidiAgent](https://strandsagents.com/docs/user-guide/concepts/bidirectional-streaming/agent/) と Nova 2 Sonic を組み合わせて WebSocket を介して利用可能な音声エージェントオーケストレーターを作成するサンプルも含まれています。Strands におけるテキストエージェントと音声エージェントのコーディングスタイルが非常に類似していることに気づくでしょう。このサンプルでは Strands が使用されていますが、テキストオーケストレーターから必要な主要な入力がシステムプロンプトとツールの定義であるため、LangChain、LangGraph、CrewAI などの他のフレームワークで構築されたテキストエージェントにも同じアプローチが適用されます。 以下のセクションのサンプルを実行する前に、Python と必要な依存関係（strands-agents および Boto3 を含む）をインストールし、IAM 設定に必要なサービスの権限が適切に設定されていることを確認してください。 from strands import Agent, tool from strands.models import BedrockModel # ---- モックツールはテキストエージェントと音声エージェントの両方で使用されます ---- @tool def authenticate_customer(account_id: str, date_of_birth: str) -> str: """顧客の身元を確認し、認証トークンを返します。""" # 実際の実装では、認証サービス / API を呼び出してください if account_id == "123456": return "AUTH_TOKEN_ABC123" return "Authentication failed" @tool def get_account_balance(auth_token: str) -> str: """顧客の現在の口座残高を返します。""" if auth_token == "AUTH_TOKEN_ABC123": return "Your current checking account balance is $5,420." return "Unauthorized request" @tool def get_recent_transactions(auth_token: str) -> str: """最近の取引を返します。""" if auth_token == "AUTH_TOKEN_ABC123": return "Recent transactions: $45 groceries, $120 utilities, $18 coffee." return "Unauthorized request" Strands Agents を使用すると、Nova 2 Lite を用いて以下に示すようなテキストエージェントのオーケストレーターを作成できます。 # ---- Nova 2 Lite モデル ---- model = BedrockModel(model_id="amazon.nova-2-lite-v1:0") # ---- 銀行アシスタントテキストエージェント ---- bank_agent = Agent( model=model, system_prompt="""あなたは銀行アシスタントです。ユーザーの口座残高や最近の取引について正確に回答してください。機密情報を提供する前には、必ずユーザーの身元を確認してください。 """, tools=[authenticate_customer, get_account_balance, get_recent_transactions], ) Strands BidiAgent を使用すれば、Nova 2 Sonic モデルと同様のコーディングスタイルで音声エージェントオーケストレーターを構築し、同じツールを再利用できます: # voice_orchestrator.py — サブエージェントをツールとして使用する BidiAgent from strands.experimental.bidi.agent import BidiAgent from strands.experimental.bidi.models.nova_sonic import BidiNovaSonicModel # ---- Nova 2 Sonic モデル ---- model = BidiNovaSonicModel( region="us-east-1", model_id="amazon.nova-2-sonic-v1:0", provider_config={"audio": {"voice": "tiffany", "input_sample_rate": 16000, "output_sample_rate": 16000}}, ) # ---- 銀行アシスタント音声エージェント ---- agent = BidiAgent( model=model, system_prompt="""あなたは銀行アシスタントです。自然な口調で話し、口座残高や直近の取引に関する質問に答えてください。機密情報を共有する前に顧客の身元を確認してください。短く明確な回答を使用し、データ取得時にはその旨を示してください。 """, tools=[authenticate_customer, get_account_balance, get_recent_transactions], ) await agent.run(inputs=[ws_input], outputs=[ws_output]) システムプロンプトはテキストおよび音声の両方のエージェントの基盤です。これはエージェントの役割、トーン、およびガードレールを定義し、書面および口頭のやり取り全体を通じて、回答が一貫性があり、信頼性が高く、ビジネス目標やユーザーの期待と整合していることを保証します。テキストから音声へ移行する際は、リアルタイムオーディオに合わせてシステムプロンプトを適応させてください。簡潔で会話調に保ち、レイテンシ（遅延）と複数回の対話コンテキストを考慮し、複雑なガイダンスはより小さなステップに分割してください。 **テキスト用プロンプト（元）:** "あなたは銀行アシスタントです。ユーザーの口座残高や直近の取引に関する質問に正確にお答えください。機密情報を提供する前に必ずユーザーの身元を検証してください。" **音声向けに適応させたプロンプト:** "あなたは銀行アシスタントです。自然な口調で話し、口座残高や直近の取引に関する質問に答えてください。機密情報を共有する前に顧客の身元を確認してください。短く明確な回答を使用し、データ取得時にはその旨を示してください。" Nova 2 Sonic を備えた音声オーケストレータにおいては、システムプロンプトやツール選択、セッションコンテキストの管理に、Sonic に組み込まれた推論機能（reasoning capability）を利用します。これにより、オーケストレーションレベルで独自の LLM（大規模言語モデル）を推論のために用意する必要はなくなります。 ## ビジネスロジック層 エージェント型アシスタントをビジネスレイヤーに接続する上で、ツール統合は重要な要素です。その際、Model Context Protocol ([MCP](https://modelcontextprotocol.io/docs/getting-started/intro)) や Agent-to-Agent ([A2A](https://github.com/a2aproject/A2A))、標準的な HTTP などのプロトコルが利用されます。テキストベースのエージェントでは、オーケストレータは REST API や [RAG（検索拡張生成）](https://aws.amazon.com/what-is/retrieval-augmented-generation/) システム、データベースといったツールへテキスト入力を送信し、テキスト応答を受け取ってユーザー向けの返信を生成します。 Strands Agents のサンプルでは、テキストエージェントで利用されている同じツールを、コード変更なしで音声エージェントでも再利用できます。ただし、ツールやサブエージェントを音声用に再利用する場合、実装の詳細以上の考慮が必要です。 すでにマルチエージェントアーキテクチャを採用している場合、専門的なビジネスロジックを持つエージェントは、いくつかの更新を加えることで音声用にも再利用できるケースがほとんどです。以下の図は、音声オーケストレータが認証や住宅ローン問い合わせのためにサブエージェントを呼び出す銀行アシスタントの例を示しています。 これらのサブエージェントには完全な書き換えは不要ですが、音声対応のために調整（チューニング）が必要です。 より短い回答 – テキスト用サブエージェントは詳細な段落を返す場合がありますが、音声用サブエージェントはオーケストレーターが自然に発話できる 1〜2 文の回答を返すべきです。例えば、サブエージェントのシステムプロンプトを「包括的な回答を提供する」から「1〜2 文で簡潔に要約する」と変更します。 **レイテンシの改善 –** サブエージェントには小さく高速なモデル（例：大規模モデルではなく [Nova 2 Lite](https://docs.aws.amazon.com/ai/responsible-ai/nova-2-lite/overview.html) から開始）を選択します。音声

Amazon Nova 2 Sonic を用いたテキストエージェントから音声アシスタントへの移行

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト