Hugging Face、マルチモーダル双方向エージェント「Gander」技術報告を公開

記事の3ポイント

1. 1

   Cerebellum-Brain 協調フレームワークの採用

   リアルタイム対話とオムニ対話機能を担う「Cerebellum」と、複雑な推論やエージェントタスクを処理する「Brain」が連携し、ツール呼び出しとオーケストレーションランタイムを通じて継続的に相互作用を行う。

2. 2

   ストリーミング Thinker-Talker アーキテクチャの実装

   ユーザー入力とモデル出力をチャンクレベルで順序付けられたトークンストリームに平坦化し、低遅延かつ連続的な対話を可能にするユニファイド表現を提供する。

3. 3

   実世界環境における堅牢性の検証

   背景ノイズの干渉、複数人との相互作用、バックチャネル通信といった困難なリアルワールドシナリオにおいて、Gander が堅牢性を示すことが内部評価で確認された。