Hugging Face、世界モデルの確率的整合性評価ベンチマーク「PAWBench」を発表

近年、動画生成モデルは「世界モデル」として位置づけられることが増えています。しかし、多くの物理現象には複数の正しい展開が存在します。したがって、真の世界モデルは単に妥当な軌道の一つを再現するだけでなく、同じ初期観測と行動条件下で起こり得る行動の分布全体も再現できなければなりません。私たちはこれを「確率的整合性（probabilistic alignment）」と呼びます。

しかし、既存の評価手法は個々の動画の妥当性を検証するにとどまり、繰り返し生成した結果が正しい分布を回復しているかどうかを試していません。ここから本質的な疑問が生じます。「現在の動画生成モデルは、確率的に整合された世界モデリングからどれほど遠いのか？」

この問いに答えるため、私たちは世界モデルに対する分布基準として確率的整合性を形式化し、動画生成モデルを世界のダイナミクスをサンプリングする確率変数として評価するためのベンチマーク「PAWBench」を導入しました。さらに、繰り返し実行された動画ロールアウトから物理行動の可能な範囲に関する経験的分布を導き出すための成果レベルのプロトコル「PAWEval」も提案します。

50 のシナリオと 11 の現行システムにわたる評価結果、どのモデルも参照となる確率値に一貫して合致しつつ、有効な行動の範囲を回復できていません。この乖離が明らかになった今、言語プロンプトや初期ノイズサンプリング、あるいはモデル学習そのものが予測分布を変化させることができるかを実験しました。

本研究は、将来の「確率的に整合された世界モデリング」への取り組みを支える基盤となることを願っています。