NVIDIA、全二重音声対話モデル「VoiceChat 11B」を公開

記事の3ポイント

1. 1

   ユニファイドアーキテクチャによる低遅延化

   ASR、LLM、TTS を別々に連結する従来の方式ではなく、単一のネットワークで音声理解と生成を同時に行うことで、エンドツーエンドの遅延を 448 ミリ秒に削減した。

2. 2

   通話中の割り込みとツール呼び出し機能

   ユーザーが会話中に割り込めるフルデュプレックス機能を備えつつ、別出力チャネルを用いて通話の継続中にもリアルタイムでツール呼び出しを実行可能にした。

3. 3

   実用化に向けた制限と課題

   研究目的専用として公開されており、2 分間の音声コンテキスト制限や複数ターン後の劣化など、実運用にはまだ解決すべき失敗モードが存在すると明記されている。