Hugging Face、世界状態と視覚生成を分離した「Programmable World Model」を発表

記事の3ポイント

1. 1

   世界状態と視覚生成の分離

   同研究は、世界状態の進化プロセスと視覚的観察の生成プロセスを明確に分離するフレームワークを導入し、拡張された相互作用における一貫性を確保している。

2. 2

   自然言語によるプログラム実行

   エージェントが自然言語の指示を実行可能なプログラムに変換し、個々のエンティティの状態や遷移ルールを指定することで、ユーザーが直接制御できる仕組みを提供する。

3. 3

   3D 有向ボックスによる中間表現

   状態拡張された 3D 有向ボックス（OBB）を中間表現として採用し、これをカメラ軌道と組み合わせて事前学習済みビデオモデルに条件信号として供給する。