物理推論向け実行可能世界表現をエージェントが探索する「Code as Worlds」

記事の3ポイント

1. 1

   実行可能コードによる世界表現のパラダイム転換

   物体状態や物理パラメータ、支配的な力学を記述する実行可能なコードとして物理世界を表現し、従来の視覚言語モデルが欠いていた明示的なメカニズムの理解を実現する。

2. 2

   帰納的推論に基づくエージェント発見ループ

   自然言語の説明や実世界の動画といった多様な観測データから世界表現を構築するため、提案・実行・レンダリング・検証・反復改良を行う帰納的推論に着想を得たエージェントループを開発した。

3. 3

   定量物理推論における最先端性能の達成

   検証済みの実行可能世界を用いて視覚言語モデルを訓練するスケーラブルな物理的監督を提供し、QuantiPhyベンチマークで最高性能を記録して大手プロプライエタリモデルを凌駕した。