Hugging Face、長期間記憶を持つ対話型世界モデル「ReWorld」を発表

インタラクティブな世界モデルは、ユーザーの行動に従い、過去に訪れた場所を記憶し、リアルタイムでストリーミングする必要があります。ここには構造的な緊張関係が存在します。制御は短い時間範囲を求めますが、記憶は無限の範囲を必要とします。ReWorld はこの二つをトレーニング時に分離し、推論時にはそれぞれに制約を設けます。

各ヘッドごとのアテンションウィンドウを混合することで、ほとんどのヘッドが直近の過去に限定されつつも、少数のグローバルヘッドは履歴全体にわたって注意を向けることができます。ランダムなヘッドルーティングにより、特定の機能が特定のヘッドに固定されるのを防ぎます。また、ランダムなチャンクドロップによって、スパースな履歴データも分布内に含めるようにしています。

推論時には、過去の全情報が一定の予算枠内で管理されます。これはポーズインデックス付きランドマークバンクをバックアップとする有界な KV キャッシュであり、モデルは現在のポーズに最も近いランドマークを検索します。

メトリックスケールに整合したデータエンジンにより、8 つの異なるソース（Unreal によるフライスルー映像、ゲーム内の探索動画、実世界の撮影映像など）を物理的な動作スケールで統一しています。これにより、どのソースでも同じキー操作でカメラが同じ距離だけ移動します。また、パリンダーム軌道を用いることで、記憶トレーニングに必要な再訪の証拠を提供しています。

LoRA アダプターに限定した分布マッチング蒸留を行うことで、サンプリングを 4 ステップに圧縮しました。一つのバックボーンが、高忠実度の多ステップモードとリアルタイムインタラクティブモードの両方を担い、フォトリアリスティックな世界からゲームスタイル、そしてスタイライズされた世界まで、704x1280 の動画をストリーミングします。

3 つの軸（アクション追従、長期記憶、動画品質）を網羅するプロトコルに基づき、6 つの最近のインタラクティブ・ワールドモデルと比較した結果、本モデルは最高の制御精度（回転誤差 11.95°およびカメラ動作の一貫性において最高）と生成品質を実現しました。また、1 分間の往復ロールアウト（64 秒、384 ラテンツ）においても、固定された 12 チャンクのキャッシュが開始時の視点の再生成に成功しています。これは、スライディングウィンドウ方式では既に証拠情報が削除され尽くし、フル KV アテンションではメモリ不足で動作不能となるようなロールアウト長において達成された成果です。