通義実験室、AI 対話システム「Wan-Streamer v0.2」を公開し応答遅延550msを実現

通義実験室 2026-07-17 15:14 浙江

リアルタイムで会話すれば、スムーズに接続できます。

AI とビデオ通話をすると、カクつきや遅延、音声と映像のズレが当たり前になっています。これは本質的に、「音声認識➡️大規模言語モデル➡️音声合成➡️アニメーション駆動」という工程を無理やりつなぎ合わせた結果です。工程が多ければ多いほど、遅延は増え、違和感も強くなります。

しかし、本当の自然な交流とは、友人とビデオ通話をするように、カクつきもなく、待ち時間も不要なものはずです。

AI はあなたの微妙な表情をリアルタイムで読み取り、まるで人間のようにうなずいたり手を振ったりします。これにより、声、唇の動き、表情が数ミリ秒単位で完璧に同期するようになります。

この夢を実現するのが、最新リリースされた「Wan-Streamer v0.2」です。

Wan-Streamer を 1 分で理解しよう

これはリアルタイム双方向インタラクションを目的とした、エンドツーエンドの全モダリティ理解・生成モデルです。「聴く」「見る」「話す」「演じる」という機能を単一の Transformer に統合し、AI が人間のように聞きながら、見ながら、応答できるようにしました。

• 極限まで低遅延：エンドツーエンドの応答遅延は 550ms（モデル処理 200ms ＋ネットワーク伝送 350ms）
• 画質の強化：出力解像度は v0.1 の 192×336 から 640×368 @ 25FPS に向上し、微表情の細部まで鮮明に描写可能
• 全モダリティ・エンドツーエンド：テキスト、オーディオ、ビデオをリアルタイムで理解し、同期して生成する機能をネイティブサポート。外部モジュールの組み合わせは不要です。

私たちは市販の主要なリアルタイムインタラクションシステムと比較しました。その結果、Wan-Streamer のエンドツーエンドインタラクション遅延は約 0.55 秒（ネットワーク伝送含む）で、一般的なリアルタイム音声対話モデルよりも大幅に高速であることが確認できました。

機能面では、Wan-Streamer は動画の知覚、動画出力、全双方向インタラクション、エンドツーエンドアーキテクチャを備えつつ、応答遅延を 1 秒以内に抑えています。

アーキテクチャの再構築：「パイプライン」から「ネイティブ因果フロー」へ

従来のリアルタイムデジタルヒューマンシステムの基盤は、通常、カスケード型（連鎖）のパイプラインです。

"

例えば、あなたが話しかけると、システムはまず音声から文字へ変換し、大規模言語モデルが回答を生成し、それを音声合成して数字人の口元を動かす必要があります。この一連の処理には時間がかかり、さらに各モジュールが独立して動作するため、声と口の動きがズレたり、表情が不自然になったりする問題が発生しがちです。

Wan-Streamer は、ユーザーからのテキスト・音声・ビデオ入力と、AI エージェントからの出力をすべて「因果的な時間軸（Causal Timeline）」上に統一します。

このモデルは「長い文章が一通り終わるまで」待つのではなく、「ストリーミングユニット（Streaming Unit）」という概念を導入しています。約 160ms のサイクルで、以下の処理を完結させます。

• 現在のユーザーからの音声・映像入力（160ms）を感知する
• 共有された対話状態と文脈を更新する
• 同期した音声とビデオの潜在変数（Latent）を生成する
• 直前のユニットからの応答をデコードして出力する

つまり、AI はあなたが話し終わるのを待つのではなく、あなたが話す一瞬一瞬の中で「知覚→理解→生成→デコード」を並行して実行します。このネイティブなストリーミングモデル化が、超低遅延とフルデュプレックス（双方向）対話を実現する基盤となっています。

v0.1 から v0.2 へ：画質の飛躍と「シーン・アンカーリング」

v0.1 では、エンドツーエンド型のネイティブストリーミング音声・映像対話の可能性が実証されました。しかし、解像度が 192×336 と低かったため、視覚的には近接クローズアップ（Close-up）に限定され、顔や口元の動きに焦点が絞られていました。

v0.2 では出力解像度を大幅に引き上げ、640×368 にしました。これは単なるピクセル数の増加ではなく、構図と利用シーンにおける質的変化をもたらします。

AI はもはや「浮遊する頭部」ではありません。v0.2 の映像では、視線の方向や身体の姿勢、自然なジェスチャー、さらには机の上にあるものや周囲の部屋の間取りまで、はっきりと確認できます。

技術解説：Thinker-Performer 双経路と Ulysses 並列処理

解像度の大幅アップは、ビデオ潜在変数生成における計算量の増大を意味します。もしこの計算を従来の低遅延パスに押し付けると、200ms というモデル側の応答遅延の下限が破綻してしまいます。

画質を向上させつつ、ユーザーが感じる遅延を増やさないためにはどうすればよいのでしょうか？

Wan-Streamer v0.2 では、モデルを 2 つの並列パスに分割し、物理的なハードウェア上でこれを分離しました。

思考者（Thinker）：単一 GPU の高速レーン

Thinker は 1 枚の GPU に配置され、遅延が敏感なタスクを担当します。具体的には、ストリーミング音声・映像の知覚、言語と状態の更新、K/V キャッシュの構築（文脈を記憶させるため）、そして音声デコードです。

これは対話における「脳」のようなものです。あなたの話を素早く理解し、文脈を保持した上で即座に言葉を組み立て、200ms という超低遅延な応答を実現します。

実行者（Performer）：マルチ GPU による Ulysses 並列処理

640×368 の高解像度ビデオ生成は計算量が膨大です。Wan-Streamer v0.2 では、Performer は多 GPU 環境での Ulysses 型コンテキスト並列クラスターとして拡張され、この重負荷な計算を専門に引き受けます。

これは裏方である「レンダリングチーム」のようなものです。高解像度の映像は計算量が多いため、システムでは Ulysses シーケンス並列メカニズムを採用し、長いビデオシーケンスを複数の GPU に分割して並列でノイズ除去を行います。（注：音声の潜在変数シーケンスは短いため、分割すると通信オーバーヘッドが増えるため、音声生成には序列分割を行わず、直接計算します）

時間的重疊

さらに重要な設計要素として、タイミングのスケジューリングがあります。単一の GPU で動作する Thinker の処理ウィンドウと、複数の GPU を用いる Performer の計算ウィンドウは重なるように構成されています。

Performer クラスターがバックグラウンドで現在のフレームの高解像度ビデオ Latent（潜在表現）を処理している間、Thinker はすでに次のフレームのユーザー入力を受け付け、かつ直前のフレームの音声データを復号化しています。

この「高速・低速の役割分担」と「タイミングの重なり」を実現するアーキテクチャにより、Wan-Streamer v0.2 では、遅延に敏感な処理パスから追加的な視覚生成のコストを切り離すことに成功しました。350ms の双方向ネットワーク予算を含む環境下でも、総リモートインタラクションの遅延は約 550ms に維持されています。

Wan-Streamer v0.2 遅延維持のデプロイメントトポロジとタイミング図

万物が会話可能：想像力こそが唯一の境界線

自然言語で記述できる限り、Wan-Streamer はその「キャラクター」を仮想世界にリアルタイムで再現し、対面での交流を実現します。事前に用意されたシナリオも、固定されたキャラクターライブラリも存在しません。あなたの想像力が唯一の制約条件です。

始皇帝と六国統一について語り合ったり、李白に即興詩を詠じさせたり、モナ・リザに口を開かせてみたり、清明上河図の通りで宋朝の生活について路傍の人々と話したり、さらには飼い猫が一日中何を考えているのかを尋ねたりすることも可能です。

このように高い自由度を持つキャラクター生成能力に基づき、Wan-Streamer の代表的な活用シーンとして以下のようなものが挙げられます：

• ビデオ通話型 AI アシスタント：カメラを起動するだけで対面での交流が可能。語学学習の会話練習、面接の模擬訓練、カウンセリングなど、「臨場感」が求められる用途に適しています。
• シチュエーションに特化した伴走と教育：AI 教師は画面を通じて生徒の表情を確認し、理解度を判断できます。また、キッチンでは調理の手順をリアルタイムで指導することも可能です。
• 没入型ゲーム NPC：ゲーム内のキャラクターが表情や肢体言語、そしてプレイヤーに対するリアルな反応を持つことで、真の意味での「対面」会話を展開します。
• アクセシビリティの向上：聴覚障害者に対しては、正確な唇の動きとジェスチャーを含むビデオ応答をリアルタイムで生成。視覚障害者に対しては、カメラが捉えた周囲環境をリアルタイムで音声描写します。

AI が自然にリアルタイム会話に参加するためには、ユーザーの言葉や表情を真に理解し、数百ミリ秒という短時間で総合的な反応を示す必要があります。

Wan-Streamer v0.2 は、この方向性に向けた継続的な探求です。ネイティブなストリーミングアーキテクチャと分散推論トポロジを活用することで、単一のモデルのインタラクションループ内で理解と生成を同時に行い、AI のコミュニケーションスタイルをさらに人間に近づけています。

これは長期的な研究ロードマップであり、Wan-Streamer は継続してバージョンアップしていきます。ご期待ください。

プロジェクト公式サイト：https://wan-streamer.com/

Wan-Streamer v0.2 論文

v0.1: https://arxiv.org/abs/2606.25041

v0.2: https://arxiv.org/abs/2607.04443

v0.3: https://arxiv.org/abs/2607.15038

おすすめコンテンツ

Qwen-Audio-3.0-Realtime は、音声対話に「聴く力」と「賢さ」をどう加えたのか？

微信で開くにはこちら