豆包、火山エンジン多模態システムでビデオ通話機能強化

豆包视频通話機能のアップグレードと、火山エンジンが支える多様伝送システム

2026 年 8 月 20 日 18:00 北京発

見知らぬ観光地で、スマホを掲げて豆包に案内してもらいましょう。路標を見ると自動的に方向を教え、建物を指すとその由来を説明してくれます。周囲の人の会話や屋台の呼び声があっても、豆包はそれらに惑わされず、あなたとの対話に集中します。

豆包のビデオ通話機能がアップグレードされたことで、AI は連続して変化するリアルなシーンでも、より自然な双方向インタラクションを実現しました。これにより、ユーザーには以下の 3 つの大きな変化がもたらされています。

「見ながら、聞きながら、話し続ける」ことが可能になりました。ユーザーは AI の発言が終わるのを待つ必要はありません。AI は音声、映像、テキストという 3 つの入力を同時に受信・処理できます。「この表示板はどうなっているのか」と指差して尋ねれば、それが手荷物回収ベルトを指していることを理解します。複数の人が会話している場合でも、口元や映像の動きから誰が話しているかを判断し、周囲の雑談に巻き込まれることはありません。

AI 側からも積極的に発言するようになりました。環境の変化を常に感知しており、重要な標識を見つけると自ら注意を促します。タスク処理時には必要な情報を検索したり結果を整理したりするために、自らツールを呼び出します。インタラクションのモードは従来の「質問と回答」から、「双方向のコラボレーション」へと進化しました。ユーザーが毎回最初に話しかける必要はありません。

会話のリズムが自然になりました。相手を遮ることもなく、沈黙が続くこともありません。話すべき時に話し、聴くべき時に聴きます。自然なタイミングで会話を引き継ぎ、適切な間を置きます。周囲の雑談と背景ノイズを正確に区別します。

公式の評価によると、従来のカスケード型（級联）ソリューションと比較して、会話のリズムに関する不自然さ（违和问题）が約 50% 減少しました。つまり、「AI が話し終わった後に突然止まってしまう」や「まだ話しているのに AI が先に答え始めてしまう」といった、ユーザーにとっての不快な状況はほとんどなくなりました。

この背景には、2 つのラインでのアップグレードがあります。モデル層では、ネイティブなオーディオ・ビデオ全双工大規模モデルである SeedRealtime が導入され、業界で初めてオーディオ・ビデオ全双工技術のスケールされた実装が実現しました。

そして、これらを支える基盤となる伝送アーキテクチャも、リアルタイム通信（RTC）から火山エンジンの多様伝送システム（MMT）へと、世代を超えた進化を遂げました。

SeedRealtime が「AI ができること」を定義する一方、火山エンジン MMT は「ユーザーがその能力を実感できるか」を決定します。MMT は以下の 3 つの主要な側面で向上を図りました。

一、数秒で接続し、即座に応答

従来の RTC アーキテクチャでは、オーディオ・ビデオチャネルとシグナリングチャネルが分離していました。ユーザーがビデオ通話を開始する際、メディアチャネルの確立、モデルセッションの構築、状態同期など、複数の手順を順次行う必要があり、これらが独立して進行するため、実際に使用可能な状態になるまでに数秒を要することが多々ありました。ユーザーは「接続中…」というローディングアイコンを見せられ、体験が損なわれることになります。

MMT は統一された多様セッションアーキテクチャを通じて、メディア伝送とモデルセッションを深く統合しました。

• クライアント側では QUIC ライブラリを基盤とし、接続の再利用やマルチプレクシングを実現。一度の接続確立で、オーディオ・ビデオ、シグナリング、モデル状態など複数のデータを同時に扱えるようになりました。
• 伝送層では MoQ プロトコルを用いて統一されたセッション制御を実現。メディアストリームと制御シグナルを同一セッション内で協調してスケジューリングできるため、複数のチャネルを個別に確立するオーバーヘッドが不要となりました。

最終的に、接続確立までの時間を秒単位から数百ミリ秒に圧縮しました。ユーザーがビデオ通話を開くと、ほぼ「瞬時に接続」され、会話の連続性が大幅に向上しています。

二、零丢字，从源头杜绝答非所问

従来、音声伝送チャネルとモデル推論チャネルは非同期で接続されていました。つまり、音声が既に転送されているのにモデルのセッションがまだ確立されていない場合や、モデルは準備ができているのに最初のフレームの音声が同期していないといった状況が発生していました。ユーザーが「この問題を解説して」と話し始めると、モデルが受け取るのは「この問題」だけであり、回答が的外れになるのは当然のことでした。

MMT の核心的な突破点は、統一されたマルチモーダル・セッション制御によって、この状態の非同期問題を根本から解決したことです。

• 音声と映像ストリーム、そしてモデルのセッション状態を、同一の伝送リンク内で統合的にスケジューリングします。以前のような「別々のパイプがバラバラに動く」状態ではありません。
• ゲートウェイ層には MediaKit の同源処理アルゴリズムを導入し、リアルタイムで最初のフレームが完全か、音画の同期が取れているか、モデルが準備完了しているかを判断します。すべてのモダリティの状態が同期して初めてモデル推論がトリガーされ、「情報の欠落」や「答非所問（質問と回答の不一致）」を源头上防止しています。
• 遅延の揺らぎが 1 秒を超えると、モデルが受け取る情報が歪んでしまうという従来の課題も、MMT の精密なセッション制御によって体系的に改善されました。

三、精准意图理解，智能推理应答

人間同士の通話であれば、伝送層は忠実にデータを運べばそれで十分です。しかし AI との対話は異なります。ユーザーが画面内の小さな文字を指差して質問した場合、もし伝送層が低ビットレートの映像をそのまま送り続ければ、モデルはその文字を読み取れず、回答も的外れになります。より合理的な方法は、高解像度画像への切り替えやフレーム抽出、あるいは局部の強調処理をトリガーすることです。従来の RTC（リアルタイム通信）には、こうした状況に応じた伝送戦略の調整機能がありませんでした。

MMT は C/S 構造の設計により、伝送を「単なるダストパイプ」から「インテリジェントなスケジューリング層」へと進化させました。

• サービス側のゲートウェイが重要な意思決定を担当します。ユーザーからの発言を受け取った際、ゲートウェイはそれを直接モデルに送るかどうかを選択できます。カメラが開かれた場合も、フレーム抽出が必要か、高解像度画像が必要か、あるいはモデルのフィードバックに基づいて処理戦略を変更すべきかを判断します。
• 階層化されたセッション制御です。どの音声ストリームを優先するか、どのビデオフレームをモデルに送る価値があるか、どのコンテンツを確実に伝送すべきか、どれが低遅延のために犠牲にしてもよいかは、MoQ シグナリング上の階層論理ユニットによって細かく制御されます。
• マルチモーダル同期の保証です。音声、映像、時系列情報は伝送層で既に同期が完了しており、モデルが受け取るのは「パッケージ化され、同期された」マルチモーダル入力です。モデル自身でバラバラのデータを拼凑する必要はありません。

伝送システムは初めて、モデルが何を必要としているかを「理解」するようになりました。MMT は SeedRealtime が受動的にデータを「取りに来る」のを待つのではなく、モデルの推論状態に応じて、「適切なデータ」を「正しい形態」で「適切なタイミング」に能動的に届けるのです。

四、模型决定智能上限，传输决定体验下限

AI のリアルタイム対話における競争は、モデル層だけで起こっているわけではありません。

業界の注目が「どのモデルがより賢いか」という議論に集中している間、火山引擎（Volcengine）はより長期的な取り組みを進めています。すなわち、伝送インフラを「ダストパイプ」から「インテリジェント・スケジューリング層」へと昇華させ、大モデルの能力が端末ユーザーへほぼ無損失で届くようにすることです。

豆包（Doubao）のビデオ通話に SeedRealtime を導入したことは、この能力を包括的に示す一例です。

同時通訳や語学学習、博物館解説などのユースケースが加速して普及するにつれ、「見ながら聞きながら話す」というリアルタイム・マルチモーダル対話は、多くの製品における標準的な体験となるでしょう。その基盤を支えるのは、億単位のユーザーによって検証され、百倍の複雑さを処理できる伝送システムです。

モデルは AI を賢くし、火山引擎は AI を「よりリアル」にします。

WeChat で開くにはこちらへ