NVIDIA、全二重音声対話モデル「VoiceChat 11B」を公開
本文の状態
日本語全文を表示中
詳細モードで約6分の本文を読めます。
同じ出来事の情報源
この情報源を基点に整理
MarkTechPost
NVIDIA はフルデュプレックス対応のオープン音声対話モデル「NemotronLabs VoiceChat 11B」を公開し、450 ミリ秒以下のターンテイクと通話中のツール呼び出し機能を備えた。
Continue in AI NEW LAB
このニュースを、実務の判断につなげる
AI NEW LABで、試したことや先に確認したい条件を共有できます。まずはログインなしで読めます。
AI NEW LABで論点を見るAI深層分析を開く2026年8月10日 09:20
AI深層分析
キーポイント
ユニファイドアーキテクチャによる低遅延化
ASR、LLM、TTS を別々に連結する従来の方式ではなく、単一のネットワークで音声理解と生成を同時に行うことで、エンドツーエンドの遅延を 448 ミリ秒に削減した。
通話中の割り込みとツール呼び出し機能
ユーザーが会話中に割り込めるフルデュプレックス機能を備えつつ、別出力チャネルを用いて通話の継続中にもリアルタイムでツール呼び出しを実行可能にした。
実用化に向けた制限と課題
研究目的専用として公開されており、2 分間の音声コンテキスト制限や複数ターン後の劣化など、実運用にはまだ解決すべき失敗モードが存在すると明記されている。
ツール呼び出しと待機メッセージの仕組み
ツール呼び出しは<TOOLCALL>ブロックで非同期に発行され、実行中はオペレーターが定義した待機メッセージを話して会話を途切れさせない。
パフォーマンスとベンチマーク結果
Full-Duplex-Bench 1.0 で約448msのターン取り遅延を実現し、オープンモデル間で最高ランクの2位を獲得した。
重要な引用
NVIDIA has released NemotronLabs VoiceChat 11B, an open 11B end-to-end speech-to-speech model for real-time, full-duplex conversation.
It is also first open full-duplex model to support tool calling while conversation keeps flowing
The model listens while it speaks, so a user can barge in mid-turn and the agent yields
per tool, an operator defines a line the agent speaks the moment the model generates the text triggering the call, so the conversation does not fall silent while an API runs.
編集コメントを表示
編集コメント
NVIDIA が公開したこのモデルは、音声対話の遅延とツール連携という二つの課題を同時に解決する画期的なアプローチを示している。ただし、研究目的専用である点や実運用時の安定性に関する警告を無視せず、適切なハードウェア環境とリスク管理の下で評価を進めるべきだ。
Source Article
元記事を日本語で読む
本文に関係しない購読案内、埋め込み通知、サイト内プロモーションは除いています。
NVIDIA は、リアルタイムのフルデュプレックス通話を実現するオープンな 11B エンドツーエンド音声対音声モデル「NemotronLabs VoiceChat 11B」をリリースしました。従来の ASR（自動音声認識）、LLM（大規模言語モデル）、TTS（音声合成）をつなぎ合わせるのではなく、単一の統合ネットワークでストリーミングによる音声理解と生成を同時に行います。これにより、カスケード型スタックが必須とする複数モデルの連携や API 間のハンドオフが不要となり、エンドツーエンドの遅延が大幅に削減されました。Full-Duplex-Bench 1.0 での測定では、滑らかなターンテイク（話者交代）までの遅延は 448 ミリ秒です。
このモデルは話し続けている間も聞き続けることができるため、ユーザーが相手の発言中に割り込んでもエージェントは即座に譲ります。480 ミリ秒の時点で、その割り込み対応率（take-over rate）は 1.00 に達しています。また、通話の流れを止めずにツール呼び出しをサポートする初のオープンフルデュプレックスモデルでもあります。スクリプト出力には別チャネルを使用し、API 実行中の隙間を埋めるために、オペレーターが定義した「保留中」の行も用意されています。
実用化は可能でしょうか？
結論は「部分的に可能」です。パイロット利用なら今日からでも始められますが、本番環境での運用はまだ早すぎます。重み付けデータとコンテナは公開されており、ライセンスも寛容なものです。しかし、NVIDIA チームはこのチェックポイントを「研究目的のみ」と明記しており、リポジトリのドキュメントには現実的な失敗事例も記載されています。例えば、音声コンテキストの上限が 2 分であること、数ターン会話が続くと回復不能な無意味な言葉に陥ること、ターン終了後に自己言説が暴走すること、ユーザーの文字起こしで単語が欠落することなどが挙げられています。
導入可能な企業は、x86_64 Linux 環境で VRAM 80GB 以上の GPU（A100、H100、RTX 6000 Pro、B200 など）を少なくとも 1 基用意できるチームです。AI ネイティブのスタートアップや資金調達済みのスケールアップ企業、企業の研究開発部門やイノベーションラボ、GPU クラウドプロバイダー、大学の音声研究グループなどが対象となります。
現在、ホスト型 API は提供されておらず、推論サービスを提供する事業者も存在しません。そのため、GPU へのアクセス権限がないチームは本モデルの評価が困難です。
主要な産業分野としては、コンタクトセンターや CX プラットフォーム、自動車内のインキャビンアシスタント、小売店やドライブスルーでの注文処理、通信業界の IVR モダナイゼーション、ゲームにおける NPC の対話、そしてアクセシビリティ支援ツールなどが挙げられます。
具体的な活用例は、バージイン（会話中の割り込み）に対応した音声エージェント、社内 API を介した音声フロントエンド、天候・価格・注文状況などをリアルタイムで照会するアシスタント、およびデュプレックスの遅延測定用ハーンです。
アーキテクチャ
本モデルは Mamba と Transformer のハイブリッド構造を採用しており、既存の NVIDIA コンポーネント 3 つと新しい出力経路 1 つを組み合わせて構成されています。
- Nemotron-Speech-Streaming-En-0.6b に由来する高速 Conformer 音声エンコーダー：16 kHz の入力ストリームを連続的に符号化します。
- NVIDIA Nemotron Nano v2 LLM バックボーン：オーディオトークンを処理し、テキストトークンを予測します。
- NVIDIA TTS デコーダーとコーデック：オーディオコードを予測し、22.05 kHz のエージェント音声としてレンダリングします。
- ツール呼び出しスクリプト専用の別出力チャネル。
出力には、エージェントの音声、エージェントのテキスト、および進行中のユーザー文字起こしが含まれます。学習には SALM-Duplex や Audio Flamingo 3 を基盤とし、実データと合成データを合わせて約 550,000 時間のオーディオが使用されました。
待機音なしでツール呼び出し
ツール呼び出しは、サイドチャネルとして tool_call ブロックで発行され、コード側は結果を tool_result ブロックで返します。特筆すべき点は「一時停止メッセージ」です。各ツールに対して、オペレーターがモデルから呼び出しトリガーとなるテキストが生成された瞬間にエージェントが発話する文言を定義できます。これにより、API 実行中に会話が途切れて沈黙してしまうのを防ぎます。
制約事項は明確に示されています。NVIDIA は、1 セッションあたりのツール数を最大 5 つに抑えるよう推奨しています。また、モデルが複数のツールを同時に信頼して呼び出すことはできず、ツール実行中にユーザーがエージェントを中断することもできません。システムプロンプトとツールのレスポンスは、ASCII のみで TTS（音声合成）に適した形式である必要があります。
パフォーマンス
Full-Duplex-Bench 1.0 では、スムーズなターンオーバーの TOR が 448 ms で 0.82、ユーザーによる中断時の TOR が 480 ms で 1.00、一時停止処理の TOR は合成データで 0.153、Candor データセットで 0.255（数値が低いほど優れている）を記録しました。
AU Harness BFCL-v3 の音声ツール呼び出しベンチマークでは、単純なケースで 58.5%、複数ツールで 62.5%、並列実行で 42.5%、並列かつ複数のケースで 27.5%、無関係な入力への対応で 89.6%、平均スコアは 56.1% を達成しました。Full-Duplex-Bench v3 では、ツール選択が 82.5%、引数の精度が 44.2%、pass@1 が 33% です。
NVIDIA によると、このモデルは VoiceBench のオープンなフルデュプレックスモデルの中で 2 位、Full-Duplex-Bench 1.0 のオープンモデルでも 2 位の評価を得ています。
インタラクティブ解説
主要ポイント
- 1 つの 11B モデルで、ASR → LLM → TTS という従来のパイプラインを置き換え、測定されたターンオーバー遅延は 448 ms です。
- ツール呼び出し機能を備えた初のオープンなフルデュプレックスモデルです。サイドチャネルとオペレーターが定義した一時停止メッセージを活用しています。
重み付けライセンスは OpenMDW-1.1 に準拠していますが、NVIDIA はチェックポイントを研究目的のみに限定しています。
動作には 80 GB の GPU が 1 枚必要です。現時点でホスト型 API は提供されていません。
原文を表示
NVIDIA has released NemotronLabs VoiceChat 11B, an open 11B end-to-end speech-to-speech model for real-time, full-duplex conversation. Instead of chaining ASR, an LLM, and TTS, it performs streaming speech understanding and speech generation in one unified network. That removes the multi-model orchestration and API handoffs a cascaded stack requires, and cuts end-to-end latency: measured smooth turn-taking latency is 448 ms on Full-Duplex-Bench 1.0. The model listens while it speaks, so a user can barge in mid-turn and the agent yields, with a take-over rate of 1.00 at 480 ms. It is also first open full-duplex model to support tool calling while conversation keeps flowing, using a separate output channel for <TOOLCALL> scripts along with operator-defined “on-hold” lines that fill the gap while an API runs.
Is it deployable?
PARTIAL — deployable today for pilots, not for production. Weights and container are both public, and the license is permissive. But NVIDIA team states the checkpoint is ‘ready for research purposes only,’ and the repo documents real failure modes: a two-minute audio context ceiling, degradation into non-recoverable gibberish after several turns, runaway self-talk after a turn ends, and dropped words in user transcription.
Which companies: any team that can allocate one GPU with at least 80 GB of VRAM — A100, H100, RTX 6000 Pro, or B200 on x86_64 Linux. That covers AI-native startups, funded scaleups, enterprise R&D and innovation labs, GPU cloud providers, and university speech groups. There is no hosted API and no inference provider currently serves the model, so teams without GPU access may not evaluate it.
Industries: contact centers and CX platforms, automotive in-cabin assistants, retail and drive-thru ordering, telecom IVR modernization, games and NPC dialogue, and accessibility tooling.
Applications: barge-in-capable voice agents, voice front-ends over internal APIs, live-lookup assistants (weather, pricing, order status), and duplex latency benchmarking harnesses.
Architecture
The model is a hybrid Mamba/Transformer, assembled from three existing NVIDIA components along with one new output path:
A Fast Conformer speech encoder from Nemotron-Speech-Streaming-En-0.6b, which encodes the incoming 16 kHz stream continuously.
The NVIDIA Nemotron Nano v2 LLM backbone, which consumes audio tokens and predicts text tokens.
An NVIDIA TTS decoder and codec that predicts audio codes, rendered as 22.05 kHz agent speech.
A separate output channel dedicated to tool-calling scripts.
Outputs include agent audio, agent text, and a running user transcription. Training used roughly 550k hours of audio across real and synthetic corpora, building on SALM-Duplex and Audio Flamingo 3.
Tool calling without dead air
Tool calls are emitted on the side channel as a <TOOLCALL> block; your code returns results in a <TOOL_RESPONSE> block. The notable piece is the on-hold message: per tool, an operator defines a line the agent speaks the moment the model generates the text triggering the call, so the conversation does not fall silent while an API runs.
Constraints are explicit. NVIDIA recommends a maximum of five tools per session, the model cannot reliably call multiple tools simultaneously, and the user cannot interrupt the agent during tool execution. System prompts and tool responses must be ASCII-only and TTS-friendly.
Performance
On Full-Duplex-Bench 1.0: smooth turn-taking TOR 0.82 at 448 ms, user-interruption TOR 1.00 at 480 ms, and pause-handling TOR of 0.153 (synthetic) and 0.255 (Candor), where lower is better.
On AU Harness BFCL-v3 spoken tool calling: 58.5% simple, 62.5% multiple, 42.5% parallel, 27.5% parallel-multiple, 89.6% irrelevance, 56.1% average. On Full-Duplex-Bench v3: 82.5% tool selection, 44.2% argument accuracy, 33% pass@1.
NVIDIA reports the model ranks #2 among open full-duplex models on VoiceBench and #2 among open models on Full-Duplex-Bench 1.0.
Interactive explainer
Key Takeaways
One 11B model replaces the ASR → LLM → TTS chain, at 448 ms measured turn-taking latency.
First open full-duplex model with tool calling, using a side channel plus operator-defined on-hold messages.
Weights are OpenMDW-1.1 permissive, but NVIDIA labels the checkpoint research-only.
Requires one 80 GB GPU; no hosted API exists today.
Check out the Hugging Face model card, GitHub (NeMo Speech) and NGC container. Also, feel free to follow us on Twitter and don’t forget to join our 150k+ML SubReddit and Subscribe to our Newsletter. Wait! are you on telegram? now you can join us on telegram as well.
Need to partner with us for promoting your GitHub Repo OR Hugging Face Page OR Product Release OR Webinar etc.? Connect with us
The post NVIDIA Releases NemotronLabs VoiceChat 11B: An Open Full-Duplex Speech-to-Speech Model with ~450 ms Turn-Taking and Live Tool Calling appeared first on MarkTechPost.
関連記事
今日のまとめ
AIデイリーブリーフで今日の重要ニュースをまとめ読み