物理推論向け実行可能世界表現をエージェントが探索する「Code as Worlds」

物理的な理解や推論には、世界をコンパクトかつ汎用性の高い表現として形成することが不可欠です。現代のビジョン・ランゲージモデルは多様な物理現象を認識し説明できますが、世界の進化や介入への反応を信頼性高く推論するために必要な、物体の状態や物理パラメータ、支配的な力学といった根本的なメカニズムの明示的な表現を欠いていることが多くあります。

本研究では、「Code-as-World」という新たなパラダイムを導入します。これは、実行可能な世界表現を通じて物理的世界を記述するアプローチです。物理的な構成要素、動的な進化、視覚的な外観を実行可能なコードとして表現することで、Code-as-World は物理的世界に対するコンパクトで定量的根拠に基づき、かつ制御可能な抽象化を提供します。

自然言語による説明や実世界の動画といった多様な観察データからこうした表現を構築するため、私たちは帰納的推論（アブダクション）に着想を得たエージェント探索ループを開発しました。このループでは、エージェントが仮説を提案し、実行・レンダリング・検証を行い、実行可能な世界仮説を反復的に洗練させていきます。

具体的な応用例として、検証済みの実行可能世界を活用して、ビジョン・ランゲージモデルの定量的物理推論トレーニングに対するスケーラブルな物理的監督信号を提供します。実験結果では、「Code-as-World-VL」が QuantiPhy ベンチマークで最上位の性能を達成し、主要な独自開発モデルをも上回る成果を示しました。これは、実行可能な世界表現が物理的知能のためのスケーラブルな基盤となり得る可能性を浮き彫りにするものです。