LingBot-World-Infinity の紹介：エージェント型ハネスを備えたオープンな因果的世界モデル

記事の3ポイント

1. 1

   因果的相互作用モデルの定義

   本研究チームは、各状態が過去のフレームと現在の入力のみによって決定されるという因果性に基づき、動画生成をインタラクティブな世界シミュレーターとして定式化した。

2. 2

   MoBA アテンションマスクの導入

   教師強制アテンションに双方向フルアテンションブロックを追加する「Mixture of Bidirectional and Autoregressive (MoBA)」を採用し、文脈が長くなることによる過学習や視覚品質の低下を防ぐ。

3. 3

   長期ドリフト防止のための学習手法

   分布マッチング蒸留（DMD）を教師強制状態だけでなく、モデル自身の予測が生じる長期自己ロールアウト軌道上で適用し、ドリフトに対する耐性を強化した。