PlayWorld：長期目標達成型エージェントによる世界モデルベンチマークを提案

記事の3ポイント

1. 1

   新しい評価パラダイムの導入

   固定された行動条件に依存せず、マルチモーダルエージェントプレイヤーが長期目標を達成するために自発的に行動する手法を採用し、モデル間の公平な比較を可能にする。

2. 2

   PlayWorld ベンチマークの構成

   171 のシナリオと指定された目標から構成され、幾何学的一貫性、相互作用の忠実度、視界外での進化、洞察的進化という 4 つのコア次元でモデルを評価する。

3. 3

   現状のモデル性能に関する知見

   9 つの最先端世界モデルの実験結果から、現在のモデルは長期の対話型目標において空間的一貫性と持続的な状態進化の維持において依然として信頼性に欠けることが示された。