Hugging Face、実大都市シミュレーション環境「UrbanGround」を公開

マルチモーダル大規模言語モデル（MLLM）は街並みを解釈できますが、都市における自律的な行動能力は、エージェントが動き出した後にその局所的な証拠がどの程度有効に機能するかにかかっています。本論文では、現在の MLLM エージェントが複雑な実スケールの都市において、いかにして局所的な都市認識を信頼性の高い行動に変換できるかを調査します。

私たちは、香港の全域から収集された 3D 地理空間データを用いて構築された、物理的制約のある香港の複製モデルである「UrbanGround」という初のサンドボックス環境を提案します。UrbanGround は、一人称視点からのクローズドループインタラクションをサポートし、ナビゲーションのためのインタラクティブマップも提供します。エージェントは直接 3D 都市内に入り込み、一人称視点で探索を開始できます。

私たちの分析は、空間的な課題がどのように成長していくかという 3 つの研究質問に沿って行われます。まず、能動的な観測を行った後に、エージェントが局所的なシーンを十分に把握し、空間に関する質問に答えられるかをテストします。次に、目的地が遠ざかり、その情報が曖昧になるにつれて、その把握能力がナビゲーションを支えられるかを問います。最後に、経路の利用可能性や歩行者の動きが変化した際にも、生成された行動が維持されるかどうかを検証します。

現在の MLLM エージェントは、視覚認識や短距離の空間推論において有用な個々の能力を示すことがありますが、方向感覚や歩行者を考慮した移動については依然として信頼性が低いです。その中心的な失敗は、長時間にわたる探索の中で顕著になります。局所的な能力が持続的な目標指向行動へと統合されず、誤りが蓄積して効果的な修正が行われないためです。

UrbanGround は、現在の MLLM エージェントが複雑でオープンエンドな都市環境において、どこまで信頼性を持って探索できるかという広範な研究を支援することを期待しています。