MirroS、物理世界を記述する「Code-as-World」を発表

MirroS が発表した「Code-as-World」は、実行可能な世界表現を通じて物理的世界を記述する新たなパラダイムです。その主張はシンプルで検証可能です。「画素は物理的なシーンの証拠ではあるが、その本体ではない」という考え方に基づいています。

従来の動画モデルは、質量や接触力、重力といった物理法則を内部に保持していなくても、妥当なフレームを予測して生成できます。しかし Code-as-World では、画素や潜在変数、キャプションではなく、「実行可能なコード」によってシーンを表現します。これは MuJoCo で直接実行できる scene.json のような形式で、エージェントが元の動画と比較検証でき、誰でも編集して再シミュレーションすることが可能です。

このアプローチでは、実写映像からプログラムを復元する「エージェント・ループ」が最大 5 ラウンドの試行を通じて動作します。検証済みの世界データは、物理的なラベルが正確に付与されたトレーニングデータとして活用されます。これは従来の動画データにはない強みです。

この手法で訓練された「Code-as-World-VL-9B」は、QuantiPhy-validation ベンチマークで 55.4 の MRA スコアを記録しました。これは Gemini-3.1 Flash の 54.8 を上回り、既存のオープンウェイトモデル中最強のベースラインよりも約 15 ポイント高い性能です。

実用化は可能なのか？

現時点では研究段階および内部プロトタイプとしての利用が想定されています。MirroS は GitHub リポジトリと、2 つのチェックポイント「Code-as-World-VL-4B」および「Code-as-World-VL-9B」を Apache 2.0 ライセンスで公開しました。これらはそれぞれ Qwen3.5-4B と Qwen3.5-9B をベースにファインチューニングされたモデルです。

両モデルとも BF16 形式の safetensors で提供され、vLLM によって OpenAI 互換の /v1 エンドポイント経由でサーブされます。動画入力では 16 フレームをサンプリングし、--max-model-len は 4608 に設定されています。

核となるアイデアは、「画素は証拠であり、本体ではない」という点です。

MirroS の技術報告書は、動画モデル、3D 再構築、キャプションそれぞれがシーンの一部を復元できるものの、そのメカニズムまで完全に再現することはできないと指摘しています。

これに対し「Code-as-World」は、実行可能な世界表現（EWR）としてシーンを捉えます。これは p = (C, E, A) という 3 つの要素から構成されます。

1. 構成（Composition）：オブジェクト、幾何形状、計測寸法、質量、摩擦係数、重力などを含みます。床や壁は静的な物理エンティティとして定義され、物体の支持や衝突を可能にします。
2. 進化（Evolution）：初期状態、作用する力、接触点、衝突、終了条件、継続時間などを記述します。これを実行することで、構成要素が完全な状態遷移軌道へと展開されます。
3. 外観（Appearance）：カメラ位置、照明、素材、背景、フレームレート、レンダリング設定などを指定します。これを変更しても物理挙動には影響しません。

公開された実装では、この 3 つの要素が scene.json にコンパイルされ、MuJoCo で実行されます。ここではアニメーションエンジン（キネマティックなポーズ）と物理エンジン（力と接触を扱う）という 2 つの互換性のあるエンジンから選択可能です。

これは単発的な予測ではなく、エージェントによる発見プロセスを実現するアプローチです。

動画から物理世界を復元する（EWR）問題は逆問題であるため、研究チームはこれを帰納的探索として捉えています。エージェントは「提案→実装→実行→レンダリング→検証」というループを最大 5 回（K=5）繰り返します。

動画入力に対して、SAM 3 がインスタンスマスクと画像平面内のトラジェクトリを提供し、VGGT-Omega が深度とカメラ幾何学を推定、SAM 3D が物体ごとのメッシュを生成します。候補となるロールアウトは入力ビューに投影され、RGB、深度、マスク、軌跡の各項目について特定のキーフレームで比較されます。

フレームレベルでの不一致は構造化されたフィードバック Δ に集約され、次の修正を導きます。予算を使い果たしても承認が得られない場合、その仮説は棄却されます。

評価回数を 5 回に統一した条件では、このループは独立サンプリングの Best-of-5 を上回り、Visual Alignment、Object IoU、Traj-ADE、Accuracy@2%D の各指標で優位性を示しました。この結果は、第 2 の実行エンジンでも再現されています。

候補となる動画は、運動に焦点を当てたフィルタリング後の WISA-80K から取得されます。シミュレーションから実世界への再レンダリングには、Wan2.2-VACE と内部の動画モデルが用いられます。

検証済みの世界をトレーニング用の教師信号として活用

フェーズ 1 では、RefCOCO/+/g、RefCLEF、GOT-10K から構築された 73,335 組の画像空間 QA ペアを用いて教師あり微調整を行います。対象は、生ピクセルデータにおける範囲、位置、変位、速度、加速度です。

フェーズ 2 では、GRPO を用いて、テキスト駆動型と動画駆動型のそれぞれ 1,585 と 988 の実行可能世界から得られる空間 VQA に適用します。報酬は、スケーリング正規化された数値精度に加え、単位やフォーマットの妥当性に基づきます。

トレーニングには NVIDIA H100 GPU を 8 基使用しました。

QuantiPhy 検証（159 項目、2S/2D/3S/3D の MRA マクロ平均）の結果は以下の通りです。4B モデルが 50.6、9B モデルが 55.4、推論機能付きの 27B モデルが 58.6 を記録しました。これに対し、Gemini-3.1 Flash は 54.8、ChatGPT-5.1 は 48.4、最も強力なオープンウェイトベースラインである Qwen3-VL-32B-Instruct は 40.2 です。

より有用なのはアブレーション（要素除去）実験の結果です。画像空間のみを使用した場合のスコアは、4B で 44.2、9B で 50.9 でした。これに世界空間の情報源を両方追加することで、それぞれ 50.6 と 55.4 に向上しました。ピクセルレベルでのグラウンディング（位置合わせ）も改善され、世界空間における強化学習（RL）後には、RefCOCO で 9B モデルが 63.7 から 68.3 に、GOT-10K では 20.1 から 26.6 にスコアを伸ばしています。

主なポイント

Code-as-World は、動画を MuJoCo が実行・検証可能な編集可能な scene.json ファイルに変換します。

提案→検証の 5 ラウンドにわたる探索は、同じ計算リソース予算において Best-of-5 サンプリングを上回ります。

検証済みの世界（Verified worlds）は、実写動画には存在しない正確な物理ラベルを提供します。

9B モデルは QuantiPhy で MRA 55.4 を達成し、Gemini-3.1 Flash の 54.8 を上回りました。4B と 9B は Apache 2.0 ライセンスです。

対象は剛体のみであり、モデル自体が発見ループを学習するわけではありません。

「コード・アズ・ワールド」の登場：実写映像を MuJoCo 物理プログラムへ書き換えるエージェント型ループ

MarkTechPost に掲載された記事より。