コードによる世界モデル「Code World Model」を公開

世界モデルは、行動や事象によって複雑な環境がどのように進化するかをシミュレートすることを目的としていますが、既存の動画ベースの世界モデルは主に視覚的な観測からダイナミクスを学習します。しかし、視覚情報からは結果しか得られず、世界の進化を支配する根本的な知識、ルール、メカニズムまでは把握できません。このため、一貫した帰結を維持したり、整合性のあるオープンエンドな進化をサポートしたりすることが困難です。

そこで私たちは「Code World Model」を導入しました。これは、言語モデルの推論とコーディング能力に動画モデルの生成事前知識を組み合わせて、世界の進化と視覚的な実現を分離するフレームワークです。ここではコーディングエージェントが世界脳として機能し、事象とその帰結について推論しながら実行可能なコードを生成します。これにより、永続的な世界状態を維持し、ルールに則った進化を実現します。

実行可能な状態と動画生成を結びつけるために、フレームごとの時空間制約を符号化するプロキシ表現を導入しました。これをプロキシ動画にコンパイルすることで、高忠実度の視覚的観測を描画するよう動画モデルを制御します。さらに、ゲームプレイや実世界の動画から整合性のあるプロキシと観測のペアを構築するためのデータパイプラインも開発しました。

ペアされたゲームプレイデータで微調整した MiniMax-H3 は、コーディングエージェントが構築したシンプルなインタラクティブ世界において、プロキシに基づく時空間仕様に従いながら、豊かな視覚的ディテールやダイナミクスを維持します。

これらの結果は、永続的な世界の進化にコードを組み合わせることで、柔軟な視覚的実現を実現する動画モデルとの相乗効果が示唆されており、オープンエンド型の世界モデルに向けた新たな道筋を提供するものである。