PolyAI、音声認識・ターン取り・関数呼び出しを融合した音声ネイティブ対話モデル「Dialog-RSN-1」を発表
本文の状態
日本語全文を表示中
詳細モードで約6分の本文を読めます。
同じ出来事の情報源
この情報源を基点に整理
MarkTechPost
PolyAI が音声認識、ターンテイク制御、関数呼び出しを統合した音声ネイティブ対話モデル「Dialog-RSN-1」を発表し、既存顧客向けに実運用を開始した。
AI深層分析を開く2026年7月31日 21:51
AI深層分析
キーポイント
音声ネイティブな入力処理と出力の分離
このモデルは入力側で生音声を直接処理するが、TTS（テキスト読み上げ）は別システムとして分離しており、発話制御を維持している。
オンデマンド実行によるリソース効率化
常時ストリーミングではなく、VADとタイマーでトリガーされるリクエストベースのLLM として動作し、GPU リソースを固定しない。
ターンテイク制御の独自アプローチ
応答の最初のトークン（EMPTY, ONGOING, COMPLETE）が会話の流れを決定し、単純な音響キューではなくモデルの文脈理解に基づいて判断する。
実証されたパフォーマンス改善
PolyAI によると、飲食チェーンで応答時間300ms未満を実現し、収容率が11%向上、保険会社ではレイテンシが37%短縮したと報告している。
大企業向けクローズドな提供形態
オープンウェイトや一般API ではなくPolyAIプラットフォーム経由でのみ利用可能で、対象は高通話量の大手企業に限定されている。
重要な引用
It fuses turn-taking, speech recognition, function calling and response generation into one audio-native model
Dialog-RSN-1 is audio-aware on the input side only; TTS stays separate, so the output voice remains controllable.
PolyAI reports sub-300ms responses, +11% relative containment at a restaurant group, and −37% latency at an insurer.
Latency work includes prefilling the attention cache while the user speaks, an append-only prompt template to minimize cache invalidation, routing each caller to the same GPU, a finetuned speculative drafter with mean acceptance of 3.9 tokens, and auto-reasoning learned during RFT.
編集コメントを表示
編集コメント
PolyAI は音声認識と対話生成を統合するアプローチにおいて、TTS の分離という実用的な解決策を採用している点が特徴的である。このアーキテクチャは、大規模なコールセンター業務におけるレイテンシ削減と応答品質の向上に寄与する可能性が高い。
Source Article
元記事を日本語で読む
本文に関係しない購読案内、埋め込み通知、サイト内プロモーションは除いています。
PolyAI は、通話者の音声から直接情報を取得する「Dialog-RSN-1」という対話モデルを発表しました。このモデルは、会話のターン（順番）制御、音声認識、関数呼び出し、応答生成をすべて一つのオーディオネイティブなモデルに統合しており、すでに実環境での通話処理にも対応しています。
主なポイント
- Dialog-RSN-1 は入力側のみで音声を理解しますが、TTS（テキスト読み上げ）は別システムであるため、出力される音声の制御性は保たれます。
- 常時稼働型のストリームではなく、必要に応じてリクエストを処理する LLM として動作します。これにより、GPU リソースを固定する必要がありません。
- 会話のターン状態（空欄、進行中、完了）は、モデルが生成する最初のトークンで示されます。
PolyAI によると、応答時間は 300 ミリ秒未満を実現し、あるレストランチェーンでは通話の完結率が 11% 向上、保険会社ではレイテンシが 37% 短縮されました。なお、現時点での対応言語は英語のみで、オープンウェイトや公開 API ではなく、PolyAI のプラットフォームを通じて提供されます。
導入の可能性と対象者
導入は可能ですが、現在は PolyAI を経由する場合に限られます。オープンウェイトの公開も、一般向けの API もまだありません。既存顧客は今日から利用開始でき、新規顧客は早期アクセスを申請可能です。
- 企業規模: 通話量が膨大な大企業が対象です。PolyAI は 2025 年 12 月の Series D ラウンド（調達額 8600 万ドル）時点で、100 社以上のエンタープライズ顧客と 2,000 件以上の導入実績を報告しています。セルフサービス開発者や中小企業はターゲットではありません。
- 業界: レストラン、保険、金融、ヘルスケア、ホテル、小売、通信、旅行、インフラなど。
- 活用事例: 予約・手配、請求・決済、認証、通話ルーティング、注文管理、トラブルシューティングなど。
アーキテクチャ
現在、主要なアーキテクチャは 2 つに集約されており、それぞれが何らかの妥協を強いられています。カスケード型スタックでは、ASR（自動音声認識）の最良の推測結果のみを LLM に渡すため、トーンや hesitation（ためらい）、認識の不確実性といった情報が、LLM が処理する前にすべて失われてしまいます。また、微調整においては、エンドポイント検出のパラメータや ASR のバイアスを手動で調整する必要があり、これは利用ケース間で汎用性が低いという課題があります。
GPT Realtime や Gemini Live などの音声対音声モデルは音声データを保持しつつも、声をモデル内部に組み込んでしまうため発音の制御が制限され、常時オン状態のフルデュープレックス方式では通話全体で GPU が占有されてしまいます。
一方、Dialog-RSN-1 は入力側のみで音声認識を可能にするアーキテクチャです。生音声データを直接処理して推論を行い、生成は別個のプロンプト可能な TTS（テキスト読み上げ）システムに委ねます。これはストリーミングではなくオンデマンドで動作し、高検出率の VAD（音声活動検出）といくつかのタイマーが実行タイミングを決定します。最初のトークンが返された時点で、エージェントが発話すべきかどうかが判断されます。
安価な音響的な合図は「いつ質問すべきか」だけを決定するものであり、実際のターンテイク（発言権の交代）の判断は、文脈をすべて把握したモデルが行います。
構築方法
PolyAI は、独自データを用いて教師あり学習と強化学習による微調整を施し、オープンウェイトのマルチモーダルモデルをポストトレーニングしました。このパイプラインはベースモデルに依存しない汎用的なもので、Gemma、GPT-OSS、Qwen、Mistral といった主要モデルを検証しています。A100 GPU で 300 ミリ秒未満の応答を目指すため、候補となるのは 8B の密型モデルから 30B のスパースモデルまでの範囲です。
低遅延化のため、ユーザーが話している間にアテンションキャッシュを事前充填する処理や、キャッシュ無効化を最小限に抑えるための追加専用プロンプトテンプレートを採用しています。また、通話を同一 GPU にルーティングすることで負荷を分散し、平均 3.9 トークンの受容率を実現した微調整済みスペキュレーションドラフターや、強化学習（RFT）中に獲得された自動推論機能も活用されています。文字起こしは応答生成またはツール呼び出しの後に実行され、音声生成と並列処理されます。
評価結果について、PolyAI は自社開発ベンチマーク「Dialog-Eval」を用いて検証を行いました。同ベンチマークは近日中にオープンソース化される予定です。各テスト例は意思決定ポイントで切り捨てられた通話であり、完全なロールアウトではなく、単一の原子的な次のステップのみをスコアリングします。
PolyAI によると、リアルタイム対応モデルとして「Dialog-RSN-1」が最高得点を記録しました。また、カスケード型（連鎖処理）の音声評価における上限は約 77 と推定されています。さらに、音声認識に特化した例では GPT Realtime 2.1 のスコアもカスケード型と同等水準であることが確認されました。
文字起こし精度については、同じ文脈を付与することで gpt-4o-transcribe の WER（単語誤り率）が 7.8% から 6.9% に改善。これに対し、Dialog-RSN-1 はさらに低い数値を記録しています。
今回のリリースでは英語に焦点を当てていますが、非英語圏やウェブチャットのような複雑な対話には引き続き「Raven 3.5」を推奨します。技術レポートと Dialog-Eval の論文は近日公開予定です。
本記事は MarkTechPost にて公開された「PolyAI が音声ネイティブな対話モデル『Dialog-RSN-1』を発表。ターンテイク、音声認識、関数呼び出し、応答生成を統合」という内容です。
原文を表示
PolyAI has introduced Dialog-RSN-1, a dialog model that perceives the caller’s audio directly instead of reading a transcript. It fuses turn-taking, speech recognition, function calling and response generation into one audio-native model, and is already handling live production calls.
Key Takeaways
Dialog-RSN-1 is audio-aware on the input side only; TTS stays separate, so the output voice remains controllable.
It runs as a request-based LLM probed on demand, not an always-on stream that pins a GPU.
Turn-taking is the model’s first output token: EMPTY, ONGOING or COMPLETE.
PolyAI reports sub-300ms responses, +11% relative containment at a restaurant group, and −37% latency at an insurer.
English only at launch, delivered through PolyAI’s platform rather than open weights or a public API.
Is it deployable, and by whom?
Yes, but only through PolyAI: no open weights, no public API yet. Existing customers can enable it today; new customers can request early access.
Company level: large, high-call-volume enterprises. PolyAI reports 100+ enterprise customers and 2,000+ live deployments at its $86M Series D in December 2025. Self-serve developers and SMBs are not the target.
Industries: restaurants, insurance, financial services, healthcare, hotels, retail, telecom, travel and utilities.
Applications: booking and reservations, billing and payments, authentication, call routing, order management and troubleshooting.
The architecture
Two architectures dominate, and each concedes something. A cascaded stack sends only the ASR’s best guess to the LLM, so tone, hesitation and recognition uncertainty are gone before the LLM sees anything. Tuning means hand-adjusting end-pointing parameters and ASR biasing that rarely generalize across use cases. Speech-to-speech models such as GPT Realtime and Gemini Live keep the audio but bake the voice into the model, limiting pronunciation control, and always-on full-duplex variants pin a GPU for the entire call.
Dialog-RSN-1 is audio-aware on input only: one model reasons over raw audio and hands generation to a separate, promptable TTS system. It is probed on demand rather than streamed: a high-recall VAD plus a few timers decide when to run it, and the first token of the reply settles whether the agent should speak. Cheap acoustic cues only choose when to ask; the model, with full context, makes the actual turn-taking call.
How it was built
PolyAI post-trained open-weight multimodal models with supervised and reinforcement finetuning on in-house data. The pipeline is broadly base-model agnostic; PolyAI evaluated Gemma, GPT-OSS, Qwen and Mistral. Targeting sub-300ms on A100 GPUs puts candidates in the 8B dense to 30B sparse range. Latency work includes prefilling the attention cache while the user speaks, an append-only prompt template to minimize cache invalidation, routing each caller to the same GPU, a finetuned speculative drafter with mean acceptance of 3.9 tokens, and auto-reasoning learned during RFT. Transcription runs last, after the response or tool call, in parallel with speech generation.
Results
PolyAI evaluated on Dialog-Eval, an internal benchmark it plans to open-source. Each example is a call truncated at one decision point, scoring a single atomic next step rather than a full rollout. PolyAI reports Dialog-RSN-1 as the highest-scoring real-time capable model, puts the cascaded Audio-score ceiling near 77, and notes GPT Realtime 2.1 scoring on par with cascades on audio-aware examples. On transcription, gpt-4o-transcribe’s WER improved from 7.8% to 6.9% once given the same context, with Dialog-RSN-1 lower still.
For this release PolyAI focused on English; Raven 3.5 remains its recommendation for non-English and rich web chat. A technical report and a Dialog-Eval paper are planned.
Check out the Technical details here. Also, feel free to follow us on Twitter and don’t forget to join our 150k+ML SubReddit and Subscribe to our Newsletter. Wait! are you on telegram? now you can join us on telegram as well.
Need to partner with us for promoting your GitHub Repo OR Hugging Face Page OR Product Release OR Webinar etc.? Connect with us
The post PolyAI Releases Dialog-RSN-1: An Audio-Native Dialog Model That Fuses Turn-Taking, Speech Recognition, Function Calling, And Response appeared first on MarkTechPost.
関連記事
今日のまとめ
AIデイリーブリーフで今日の重要ニュースをまとめ読み