Hugging Face、マルチモーダル双方向エージェント「Gander」技術報告を公開

本稿では、オムニ知覚（Omni Perception）、リアルタイム対話、そしてエージェント機能を単一のフレームワークに統合したエンドツーエンドモデル「Gander」を紹介します。ターンベース型の従来のパラダイムとは異なり、Gander は動画、音声、テキストなど複数のモダリティからのストリーミング入力を継続的に受け取り、日常会話から複雑な業務フローを担うエージェントシナリオに至るまで、自然なフルデュプレックス対話を実現します。

ユーザーはいつでもモデルの応答を中断できますし、モデル側からも中間フィードバックを積極的に提供したり、追加質問を行ったりすることが可能です。これらの機能をネイティブにサポートするため、Gander は 2 つの重要なアーキテクチャ設計を採用しています。1 つ目は「小脳（Cerebellum）と大脳（Brain）の協調フレームワーク」です。ここでは小脳がリアルタイム対話やオムニ対話能力を担い、大脳が複雑な推論や高次レベルのエージェントタスクを担当します。両者はツール呼び出しとエージェントオーケストレーションランタイムを通じて継続的に連携します。

2 つ目は、小脳が「ストリーミング・シンカー・トークアー（Thinker-Talker）アーキテクチャ」に基づいている点です。ユーザーの入力とモデルの出力は、チャンクレベルで順序付けられたトークンストリームに平坦化され、低遅延かつ連続的な対話のための統一された表現を提供します。

Gander の評価は、会話能力、オムニ理解力、インタラクティブ性、そしてエージェント知能という 4 つの次元において包括的に実施されました。

内部評価の結果、Gander は SOTA オープンソースモデルが持つ自然で表現力豊かな対話能力を維持しつつ、オムニ相互作用においても競争力のある性能を発揮することが示されました。また、背景ノイズの干渉や複数人とのやり取り、バックチャネル通信といった困難な実世界シナリオに対しても堅牢であることが確認されています。さらに、コミュニティにおけるさらなる研究開発を促進するため、Gander とそのモデル、コード、データを公開します。