Hugging Face、世界モデルの確率的整合性評価ベンチマーク「PAWBench」を発表

記事の3ポイント

1. 1

   確率的整合性の定義と課題

   物理プロセスには複数の正当な展開があり得るため、世界モデルは単に妥当な軌道を再現するだけでなく、同じ初期条件における行動の分布も再現する必要があると定義し、既存評価がこの要件を満たしていないことを指摘した。

2. 2

   PAWBenchとPAWEvalの提案

   世界モデルを確率的サンプリャとして評価するためのベンチマーク「PAWBench」と、反復生成結果から物理行動の経験的分布へ変換する評価プロトコル「PAWEval」を新たに導入した。

3. 3

   現状モデルの評価結果

   50のシナリオと11の現行システムを対象にテストを行った結果、参照確率に常に一致しつつ有効な行動範囲も再現するモデルは存在せず、明確なギャップが確認された。