Amazon Nova Sonic と WebRTC を用いたリアルタイム音声ストリーミングアプリケーションの構築

リアルタイム音声対話機能を備えたエンドツーエンドのライブストリーミングアプリケーションを構築するには、いくつかの課題があります。ネットワーク帯域幅の制約により、時間的制約のあるアプリケーションで遅延や品質劣化が発生する可能性があります。言語の壁は、多言語音声通信における効果的な人間と機械との対話を制限します。スケーラビリティと耐障害性は、パフォーマンスとインフラコストの間で難しいバランスを取ることを要求します。また、クロスブラウザおよびモバイル環境での互換性を確保するには、特にスタートアップ企業にとって多大な開発努力が必要です。 本稿では、これらの課題に対処する [Amazon Nova 2 Sonic](https://docs.aws.amazon.com/ai/responsible-ai/nova-2-sonic/overview.html)（Nova Sonic）および [Amazon Kinesis Video Streams WebRTC](https://docs.aws.amazon.com/kinesisvideostreams-webrtc-dg/latest/devguide/what-is-kvswebrtc.html)（WebRTC）に基づくソリューションを紹介します。WebRTC は、不安定なネットワーク環境においてビットレートを動的に調整する役割を担い、接続の切断を減らしながら音声品質を維持するのに役立ちます。Nova Sonic は効果的な人間同士の対話を実現するため、ユーザーは選択した言語でより自然に対話を行うことができます。両サービスとも AWS によって完全にマネージドされており、高い耐障害性を備えて自動的にスケールします。また、AWS ではオープンソースのサンプルも提供しており、これを自社のアプリケーション開発の出発点として利用できます。 本稿では、ソリューションアーキテクチャ、実装パターン、および 2 つの実世界におけるシナリオ例について順を追って解説します。 ## Nova Sonic と WebRTC 従来の音声エージェントパイプラインでは、通常、音声認識、言語処理、音声合成のために別々のモジュールが用いられていました。[Nova Sonic](https://aws.amazon.com/nova/speech/) は、低遅延でユーザーと AI エージェント間のリアルタイムな音声会話を可能にする、統合された音声対音声アーキテクチャを提供します。 ![image](https://d2908q01vomqb2.cloudfront.net/f1f836cb4ea6efb2a0b1b99f41ad8b103eff4b59/2026/04/09/ML-200271.jpeg) 統合された音声理解と生成により、Nova Sonic は自然で人間のような対話型 AI を実現します。Nova Sonic モデルは、外部エージェント向けの異なる話し方やツールインターフェースを提供しています。これを用いることで、文脈認識能力が高く、より反応が良く直感的な音声インターフェースを構築できます。 ![image](https://d2908q01vomqb2.cloudfront.net/f1f836cb4ea6efb2a0b1b99f41ad8b103eff4b59/2026/04/09/ML-200272.png) 典型的なストリーミングパイプラインは、メディアソース、メディアサーバー、メディアコンシューマーの 3 つの主要コンポーネントで構成されます。前述の図では、これらのコンポーネントと、それぞれに対応する RTMP、RTSP、HLS、MPEG-DASH、WebRTC などのプロトコルが示されています。 [Web Real-Time Communication (WebRTC)](https://webrtc.org/) は、追加のプラグインやソフトウェアのインストールを必要とせず、リアルタイムのピアツーピア直接接続を提供することでライブストリーミングを近代化する公開プロトコルです。このアプローチは中間サーバーの必要性を排除し、レイテンシを大幅に削減します。すべてのメディアストリーミングプロトコルの中で、WebRTC は以下の画像に示されるように、最も低いレイテンシを実現します。 ![image](https://d2908q01vomqb2.cloudfront.net/f1f836cb4ea6efb2a0b1b99f41ad8b103eff4b59/2026/04/09/ML-200273.png) WebRTC には、[適応型ビットレート (ABR)](https://en.wikipedia.org/wiki/Adaptive_bitrate_streaming) ストリーミング、[フォワードエラー訂正 (FEC)](https://www.rfc-editor.org/rfc/rfc8854.html)、および[jitter buffer](https://developer.mozilla.org/en-US/docs/Glossary/Jitter#jitter_buffer) 管理といった組み込み機能も含まれています。これらの機能により、帯域幅の使用量を自動的に調整し、接続が不安定な環境におけるパケットロスやジッターの問題を解決できます。ネットワーク状態が悪い場合でも、滑らかな会話の維持が可能です。 WebRTC のオープンソースであることと、Chrome、Firefox、Safari、Edge、Android、iOS などの幅広いブラウザとの互換性は、ソリューションの採用を加速し、継続的な改善を促します。また、AI 機能を持つメディアストリームのリアルタイム処理にも非常に適しています。 ## ソリューションアーキテクチャ 以下のシナリオにおいて、多言語音声対話機能を備えたライブストリーミングソリューションの導入を検討する場合があります：**コネクテッドビークル**では、リアルタイム翻訳機能でドライバーを支援します。**スマートファクトリー**では、音声起動型品質管理システムを通じて異文化間のオペレーター間コミュニケーションをサポートします。**ロボティクス**アプリケーションでは、多言語でのカスタマーサービス対話を提供します。**スマートホーム**デバイスでは、異なる言語での即時音声制御を実現し、リアルタイムのオーディオ翻訳と視覚的ガイダンスを通じてグローバルな技術サポートを取得できるようにします。 以下の図は、Nova Sonic ソリューションを管理された WebRTC サービスとして Kinesis Video Streams と共にデプロイする方法を示しています。また、検索拡張生成 (RAG)、モデルコンテキストプロトコル (MCP)、Strands エージェントなどの一般的なソースとのツール統合も示されています。 ![image](https://d2908q01vomqb2.cloudfront.net/f1f836cb4ea6efb2a0b1b99f41ad8b103eff4b59/2026/04/09/ML-200274.png) [1] クライアントアプリ上では、ユーザーが Kinesis Video Streams の WebRTC シグナリングチャネルに接続することで [WebRTC 交渉プロセス](https://developer.mozilla.org/en-US/docs/Web/API/WebRTC_API/Perfect_negotiation) を確立します。音声およびビデオデータは、双方向の WebRTC 接続を介して送信されます。 [2] セッション記述プロトコル (SDP) のオファー/アンスワー [およびインタラクティブ接続確立 (ICE) キャンディデート](https://datatracker.ietf.org/doc/html/rfc3264) の交換のためのシグナリングメッセージの後、クライアントとサーバーは双方向のピア接続試行を開始します。その後、成功した RTC 接続を通じて、低遅延でビデオおよびオーディオデータを転送することができます。 [3] メディアチャネルは、適応型ビットレート制御とコーデックネゴシエーションを備えたリアルタイムオーディオおよびビデオストリーミングを処理します。データチャネルは、テキスト、ファイル、制御メッセージなどの任意のアプリケーションデータの信頼性が高く順序通りの転送を提供します。両方とも [Datagram 輸送層セキュリティ (DTLS)](https://datatracker.ietf.org/doc/html/rfc6347) の暗号化と、ネットワークアドレス変換 (NAT) 透過のための [Session Traversal Utilities for NAT (STUN)](https://datatracker.ietf.org/doc/html/rfc8489)/[Traversal Using Relays around NAT (TURN)](https://datatracker.ietf.org/doc/html/rfc5766) プロトコルを使用しています。 [4] 音声対音声イベントプロセッサは、Nova Sonic との [入力イベント](https://docs.aws.amazon.com/nova/latest/userguide/input-events.html) および [出力イベント](https://docs.aws.amazon.com/nova/latest/userguide/output-events.html) の相互作用を調整します。当社のソリューションでは、これらは WebRTC メディアチャネル経由で転送されるメディアイベントと、WebRTC データチャネル経由のテキストデータに分類されます。 [5] Python SDK を使用して、Nova Sonic と双方向ストリーミングを行うための HTTP/2 接続を確立します。この接続はリアルタイムのメディアデータ通信をサポートし、ユーザーにとっての遅延を最小限に抑えます。 [6] また、事前学習済み知識による音声対話に加え、Nova Sonic は MCP サーバーや Strands エージェント、RAG（Retrieval-Augmented Generation）へのアクセスを可能にする非同期ツール呼び出し [asynchronous tool calling](https://docs.aws.amazon.com/nova/latest/nova2-userguide/sonic-async-tools.html) もサポートしています。本記事では、これらのツールの使用例を通じてその機能を紹介いたします。 すでに Nova Sonic をご使用中の方には、このアーキテクチャが WebSocket 解決策と類似していることに気づかれるでしょう。ここでは主要な違いについて解説します。 ## ソリューション比較 [WebSocket デプロイ](https://github.com/aws-samples/amazon-nova-samples/tree/main/speech-to-speech/workshops) オプションと比較して、この [WebRTC ベースの音声対話ソリューション](https://github.com/aws-samples/sample-nova-sonic-speech2speech-webrtc) は、モバイル機器や IoT デバイスに適した異なるネットワーク層を提供します。これらのデバイスは、高いネットワーク帯域幅を必要とせずとも低遅延接続を要することが多くあります。また、本ソリューションにはユーザーエクスペリエンスを向上させるためにカスタマイズされた音声活動検出（VAD: Voice Activity Detection）レイヤーも組み込まれています。 ## WebSocket から WebRTC への変更されたオーディオストリーミングプロトコル 音声データは、WebSocket メッセージではなく、[Secure Real-time Transport Protocol (SRTP)](https://datatracker.ietf.org/doc/html/rfc3711) フォーマットによるピア接続のオーディオトラックを介したストリーミング方式で WebRTC メディアチャネルを通じて送信されます。WebRTC の機能（SDP offer/answer、DTLS、Stream Control Transmission Protocol (SCTP)、SRTP、およびピア接続など）は、[aiortc](https://github.com/aiortc/aiortc) Python ライブラリを使用して実装しました。 ![image](https://d2908q01vomqb2.cloudfront.net/f1f836cb4ea6efb2a0b1b99f41ad8b103eff4b59/2026/04/09/ML-200275.png) ## 人間の声検出メカニズム React WebRTC クライアントはオーディオを継続的にキャプチャし、Python WebRTC サーバーへ送信します。ノイズの抑制、発話精度の向上、および Nova Sonic に対するオーディオトークンの削減を実現するため、本ソリューションではサーバー側のパイプラインに [Voice Activity Detection](https://en.wikipedia.org/wiki/Voice_activity_detection) (VAD) を適用しています。[Python WebRTCVAD library](https://github.com/wiseman/py-webrtcvad) に基づくコードの実装は以下の画像に示されています。Gaussian Mixture Model (GMM) を基盤とするこのライブラリは軽量で安定しており、WebRTC フレームレベルのオーディオ処理において高速です。また、[Silero VAD](https://github.com/snakers4/silero-vad) や [Pyannote VAD](https://huggingface.co/pyannote/voice-activity-detection) などの他のライブラリも利用可能です。 ![image](https://d2908q01vomqb2.cloudfront.net/f1f836cb4ea6efb2a0b1b99f41ad8b103eff4b59/2026/04/09/ML-200276.png) ## オーディオデータ形式の適応 WebRTC は特定のオーディオおよびビデオフォーマット標準を定義しています。WebRTC 接続を通じてオーディオデータを送受信する際には、何らかの形式変換（Audio Data Adaptation）を行う必要があります：[[1]](https://github.com/aws-samples/sample-nova-sonic-speech2speech-webrtc/blob/main/docs/AudioDataAdaption.md#interleaved-layout-unpacking) インターリーブされたステレオフレームでは、左または右のオーディオチャンネルを抽出する必要があります。[[2]](https://github.com/aws-samples/sample-nova-sonic-speech2speech-webrtc/blob/main/docs/AudioDataAdaption.md#sampling-rate-48khz-to-16khz) 48kHz またはその他のサンプリングレートは、Nova Sonic API の要件に従って 16kHz にリサンプリングされます。[[3]](https://github.com/aws-samples/sample-nova-sonic-speech2speech-webrtc/blob/main/docs/AudioDataAdaption.md#type-conversion-from-int16-to-float32) Int16 データ値は、計算精度を向上させるために Float32 に変換されます。詳細については、[GitHub ドキュメント](https://github.com/aws-samples/sample-nova-sonic-speech2speech-webrtc/blob/main/docs/AudioDataAdaption.md) を参照してください。 ## ソリューションのウォークスルー この [GitHub リポジトリ](https://github.com/aws-samples/sample-nova-sonic-speech2speech-webrtc) のソリューションでは、汎用的なサンプルと 2 つの具体的なシナリオ例（スマートホーム例およびコネクテッドビークル例）が提供されています。これらのパターンは、ご自身のアプリケーションに適応させることができます。 ## スマートホームの例 スマートホームのシナリオでは、Nova Sonic と対話して IoT デバイスを制御します。完全なコマンドパイプラインを示すために、本ソリューションは Amazon Bedrock の [Knowledge Base](https://docs.aws.amazon.com/bedrock/latest/userguide/knowledge-base.html) を使用して MQTT トピックを取得し、AI 応答を生成します。その後、[MCP server for AWS IoT Core](https://github.com/aws-samples/sample-MCP_server-for-Amazon_IoT_Core) に接続してコマンドメッセージを送信します。完全なアーキテクチャは以下の画像に示されています。 ![image](https://d2908q01vomqb2.cloudfront.net/f1f836cb4ea6efb2a0b1b99f41ad8b103eff4b59/2026/04/09/ML-200277.png) セットアップ手順については、GitHub の [smart-home readme](https://github.com/aws-samples/sample-nova-sonic-speech2speech-webrtc/tree/main/examples/smart-home) を参照してください。 ## 接続車両の例 接続車両のシナリオでは、システムがリアルタイム監視を確立して、運転者の危険な携帯電話使用行動を検出します。システムは音声アシスタントを使用して、支援が必要かどうかを問い合わせ、運転者の注意力を確認します。監督担当者は、独立したビデオチャネルでリアルタイム監視フィードにアクセスし、車両と運転者の安全状態を確認できます。以下のアーキテクチャがこのシナリオに対応しています。 ![image](https://d2908q01vomqb2.cloudfront.net/f1f836cb4ea6efb2a0b1b99f41ad8b103eff4b59/2026/04/09/ML-200278.png) 接続車両シナリオにおける完全なメディアパイプラインは、以下の図に示されています。並行して確立される WebRTC 接続はそれぞれ独立しており、専用の TLS 暗号化が適用されます。 ![image](https://d2908q01vomqb2.cloudfront.net/f1f836cb4ea6efb2a0b1b99f41ad8b103eff4b59/2026/04/09/ML-200279.png) セットアップ手順については、GitHub 上の [connected-vehicle readme](https://github.com/aws-samples/sample-nova-sonic-speech2speech-webrtc/tree/main/examples/connected-vehicle) をご覧ください。 ## 結論 本記事では、Amazon Nova 2 Sonic と Amazon Kinesis Video Streams WebRTC を組み合わせた、WebRTC ベースのソリューション構築方法をご紹介しました。このソリューションは、不安定なネットワーク環境におけるパフォーマンス低下や、会話型インテリジェンスの欠如といった、ライブストリーミングにおける一般的な課題を解決するものです。本ソリューションは、スマートデバイスや接続車両の利用者向けに、低遅延で知的かつ堅牢性が高く柔軟な音声アシスタントアプリケーションを構築するための基盤として活用できます。 始め方と詳細については以下をご覧ください: - 最新の Amazon Nova 2 Sonic の機能については、Speech-to-Speech ブログ記事をお読みください。 - より多くのシナリオについては、GitHub 上の Speech-to-Speech リポジトリをご探索ください。 - その他のライブストリーミングユースケースについては、Amazon Kinesis Video Streams 開発者ガイドをご覧ください。 ## 執筆者について ![image](https://d2908q01vomqb2.cloudfront.net/f1f836cb4ea6efb2a0b1b99f41ad8b103eff4b59/2026/04/09/ml-20027-author-zihang.jpg) ## Zihang Huang Zihang Huang は、AWS のアジェンティック AI 専門ソリューションアーキテクトです。彼はコネクテッドカー、スマートホーム、再生可能エネルギー、産業用 IoT におけるアジェンティック AI の専門家として活動しています。現在、AgentCore、物理的 AI（Physical AI）、IoT、エッジコンピューティング、ビッグデータを活用した AI ソリューションに注力しています。 ![image](https://d2908q01vomqb2.cloudfront.net/f1f836cb4ea6efb2a0b1b99f41ad8b103eff4b59/2026/04/09/ml-20027-auther-lanaz.png) ## Lana Zhang Lana Zhang は、AWS のワールドワイド・スペシャリスト組織に所属するジェネレーティブ AI 専門のシニアソリューションアーキテクトです。AI/ML を専門とし、特に AI ボイスアシスタントやマルチモーダル理解（Multimodal Understanding）などのユースケースに焦点を当てています。メディア・エンターテインメント、ゲーム、スポーツ、広告、金融サービス、ヘルスケアなど多様な業界の顧客と緊密に連携し、AI を活用したビジネスソリューションの変革を支援しています。 ![image](https://d2908q01vomqb2.cloudfront.net/f1f836cb4ea6efb2a0b1b99f41ad8b103eff4b59/2026/04/10/ml-20027-author-binchen.jpg) ## Bin Chen Bin Chen は、2019 年に AWS に加入したジェネレーティブ AI 専門ソリューションアーキテクトです。Amazon Bedrock や Amazon SageMaker などのサービスを活用し、顧客が生成 AI の最前線を探求し、概念実証（Proof of Concept）から本番環境へのプロジェクト移行を支援することに尽力しています。現在特に注力しているのは、アジェンティック AI とエンドツーエンドの音声モデルです。 ![image](https://d2908q01vomqb2.cloudfront.net/f1f836cb4ea6efb2a0b1b99f41ad8b103eff4b59/2026/04/09/ml-20027-author-siva.jpg) ## Siva Somasundaram Siva Somasundaram 氏は AWS のシニアエンジニアであり、Kinesis Video Streams（動画ストリーミングサービス）の組み込み SDK およびサーバーサイドコンポーネントの開発を担当しています。15 年以上にわたる動画ストリーミングサービスの経験を持ち、大規模な動画取り込みのためのメディア処理パイプライン、トランスコーディング機能、セキュリティ機能を開発してきました。彼の専門知識は、動画圧縮、WebRTC（リアルタイム通信プロトコル）、RTSP（リアルタイムストリーミングプロトコル）、および動画 AI に及びます。彼は意味検索や RAG（Retrieval-Augmented Generation: 検索拡張生成）を駆動するメタデータハブの構築に情熱を注いでいます。

Amazon Nova Sonic と WebRTC を用いたリアルタイム音声ストリーミングアプリケーションの構築

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト