Hugging Face、世界状態と視覚生成を分離した「Programmable World Model」を発表

近年の動画生成型世界モデルは、ますますリアルでインタラクティブな視覚体験を生み出しますが、広範囲にわたる相互作用において一貫した世界状態を維持したり、プログラム可能なルールを適用したりする信頼性の高い仕組みには欠けています。そこで私たちは「Programmable World Model（プログラマブル・ワールドモデル）」というフレームワークを導入しました。これは、世界状態の進化と視覚的観測の生成を分離するものです。

エージェントは自然言語の指示を実行可能なプログラムに変換し、エンティティの状態や状態遷移ルールを指定します。これにより、個々のエンティティとその相互作用に対する直接的な制御が可能になります。軽量エンジンがこれらのプログラムを実行して、画面外にあるエンティティや視覚的属性などを含む、明示的で永続的なグローバルな世界状態を更新・維持します。

世界状態と動画生成をつなぐために、私たちは「state-augmented 3D oriented bounding boxes (OBBs)（状態拡張型 3 次元方向付き境界ボックス）」を中間表現として導入しました。この表現とターゲットとなるカメラ軌道は、事前学習済みで生成レンダラーとして機能する動画モデルに対して、ピクセルアライメントされた時空間の条件信号として決定論的にコンパイルされます。

この設計により、ユーザーは事前に定義されたメカニクスを持つプレイ可能なゲームを作成でき、ゲーム全体を通じて個々のエンティティを直接制御し、一貫した世界状態を維持することが可能になります。さらに、プログラマブル・ワールドモデルの評価基準として「CombatStateBench」も導入しました。

CombatStateBench において、本手法はカウント精度94%、状態精度98%を達成し、既存の対話型ビデオ世界モデルを大きく上回ると同時に、一貫性のある長期生成も可能にしました。これらの結果は、永続的でプログラム可能な世界を構築する上で、明示的な状態進化と生成レンダリングを分離することの有効性を示しています。