NVIDIA、対話型AI向けリアルタイム全二重音声モデル「VoiceChat」公開

記事の3ポイント

1. 1

   ユニファイドアーキテクチャによる低遅延化

   従来の ASR→LLM→TTS のカスケード型ではなく、音声信号を直接処理する単一モデルで構成され、エンドツーエンドの遅延を大幅に削減している。

2. 2

   リアルタイムツール呼び出し機能の実装

   会話の流れを維持したまま、必要なタイミングで外部ツールを呼び出す機能をサポートしており、LLM がトリガーテキストを生成すると即座に対応する「on-hold」メッセージを発話できる。

3. 3

   自然な対話特性の向上

   約 450 ミリの応答遅延を実現し、ユーザーが割り込んで中断する（バージイン）際にも即座に応じるなど、人間同士の会話に近い挙動を示す。