GroundedPlanBench: ロボット操作のための空間的に接地された長期タスク計画

一言で言うと

自然言語に基づくプランは、特に動作と場所の両方を指定する際に曖昧になりがちであるため、VLM（Vision-Language Model：視覚・言語モデル）ベースのロボットプランナーは、長期かつ複雑なタスクにおいて困難に直面します。

GroundedPlanBench は、多様な実世界のロボットシナリオにおいて、モデルが動作を計画し、その動作が行われる場所を特定できるかを評価するベンチマークです。

Video-to-Spatially Grounded Planning (V2GP)（動画から空間的に grounded なプランニングへの転換）は、ロボットのデモンストレーション動画を空間的に grounded なトレーニングデータに変換するフレームワークであり、これによりモデルがプランニングと grounding を同時に学習できるようになります。

Grounded planning（空間的に grounded なプランニング）は、タスクの成功確率と動作の精度の両方を向上させ、ベンチマークおよび実世界評価において、分離されたアプローチを上回る性能を発揮します。

ビジョン言語モデル（VLM）は画像とテキストを用いてロボットの行動を計画しますが、まだ「どの行動を取るべきか」「どこで行うべきか」を決定することに苦慮しています。ほとんどのシステムでは、これらの意思決定を2段階に分けています：まず VLM が自然言語で計画を生成し、別のモデルがそれを実行可能な行動に変換します。このアプローチは、長くて複雑なタスクにおいてはしばしば機能しません。なぜなら、行動や場所を指定する際に、自然言語の計画には曖昧さがあったり、場合によっては幻覚（ハルシネーション）が生じたりするためです（図 1）。計画と空間推論が別々に処理されるため、ある段階でのエラーが次の段階に伝播してしまう可能性があります。ここで重要な問いが生じます：VLM は「何をすべきか」と「どこで行うべきか」を同時に決定できるのでしょうか？

image図 1. VLM ベースのタスクプランナーにおける失敗事例。曖昧な言語表現が実行不可能な行動につながる例。

空間的根拠に基づく計画

この問題に対処するため、私たちは GroundedPlanBench（新しいタブで開く）を開発しました。論文「Spatially Grounded Long-Horizon Task Planning in the Wild」において、この新たなベンチマークが、VLM が多様な実世界環境において行動を計画し、その行動がどこで行われるべきかを決定できるかを評価する方法について詳述しています。また、VLM がこの能力を習得するのを支援するため、ロボットの実演動画をトレーニングデータに変換するフレームワーク「Video-to-Spatially Grounded Planning (V2GP)」も構築しました。

オープンソースおよびクローズドソースの両方の VLM を用いて評価を行った結果、長期かつ複雑なタスクに対する空間的根拠に基づく計画は困難であることが判明しました。一方で、V2GP は計画能力と空間的根拠の両方を向上させ、その効果は当ベンチマークおよびロボットを用いた実世界実験において検証されました。

GroundedPlanBench の仕組み

現実的なロボットシナリオを作成するために、私たちは DROID（Distributed Robot Interaction Dataset）に含まれる 308 のロボット操作シーンからベンチマークを構築しました。これは、タスクを実行するロボットの録画映像を多数収録した大規模コレクションです。各シーンを専門家とレビューし、ロボットが実行可能なタスクを定義しました。各タスクは 2 つのスタイルで記述されました：行動を明確に説明する明示的な指示（例：「白いお皿にスプーンを置く」）と、目標をより一般的に記述する暗黙的な指示（例：「テーブルを片付ける」）です。

各タスクについては、計画が 4 つの基本的なアクション——把持（grasp）、配置（place）、開閉（open）、閉鎖（close）——に分解されました。これらはそれぞれ画像内の特定の場所に関連付けられています。把持、開き、閉じのアクションは対象物体を囲むボックスに紐づけられ、配置アクションは物体を置くべき場所を示すボックスに紐づけられました。

図 2 は、中・長時間のタスクと、それに対応する明示的・暗黙的な指示を示しています。全体として、GroundedPlanBench には 1,009 のタスクが含まれており、アクション数が 1～4（345 タスク）、5～8（381 タスク）、9～26（283 タスク）の範囲にわたります。

image図 2. GroundedPlanBench のタスク例。

V2GP の動作原理

V2GP フレームワークは、まず記録されたグリッパー信号を用いてロボットがオブジェクトと相互作用する瞬間を検出します。その後、マルチモーダル言語モデルによって操作対象のオブジェクトに関するテキスト記述を生成します。この記述に基づき、システムは Meta の高度なオープンボキャブラリ画像・ビデオセグメンテーションモデルである SAM3 を用いて、動画全体を通じてそのオブジェクトを追跡します。続いて、追跡結果から空間的に grounded な計画（grounded plans）を構築し、オブジェクトが把持された瞬間の位置と、配置された場所を特定します。

このプロセスは図 3 に示されています。その結果、長さの異なる 43,000 件の grounded プランが生成されました：1～4 つのアクションを含むプランが 34,646 件、5～8 つのアクションを含むプランが 4,368 件、9～26 のアクションを含むプランが 4,448 件です。

image図 3. V2GP フレームワークは、ロボットの動画を空間的に grounded なプランに変換します。

分離型計画と grounded 計画の評価

GroundedPlanBench を実世界のロボット環境で評価するために、ベースモデルとして Qwen3-VL (新しいタブで開く) を使用しました。Qwen3-VL はテキスト、画像、動画を処理して多モーダル推論をサポートするビジョン・ランゲージモデルです。追加のトレーニングなしに標準的な多モーダル推論ベンチマークにおいて良好なパフォーマンスを発揮します。まず、他の専用モデルとともに、特定のタスク向けのトレーニングを行わずに GroundedPlanBench で評価を行いました（表 1）。その後、V2GP のトレーニングデータでファインチューニングを行い、計画とグラウンディングを別々に処理するデカップルド・アプローチと比較しました。

この設定では、まず VLM がロボットが何を行うべきかを示す計画を生成します。このステップには GPT-5.2 または Qwen3-VL-4B を使用しました。その後、その計画は空間グラウンディングモデルである Embodied-R1 (新しいタブで開く) に渡され、実行可能な信号に変換されます。Embodied-R1 は、エンボディード推論とポインティングのためにトレーニングされた大規模ビジョン・ランゲージモデルであり、画像内の特定の場所を特定してロボットの行動を誘導するものです。空間グラウンディングにこれを選択したのは、その学習目標がエンボディードな空間推論とポイントベースの位置特定にあるためで、モデル出力を画像内の特定の場所に適切にグラウンディングするのに適しているからです。

図4は、このアプローチの重要な限界である自然言語における曖昧さを浮き彫りにしています。例えば、Qwen3-VL-4B はシーン内のすべてのナプキンに対して「テーブル上のナプキン」という表現を参照して把持動作を生成しましたが、その結果、Embodied-R1 は各動作を同じナプキンに grounding（位置付け）してしまいました。GPT-5.2 はより記述的なフレーズ、「左上のナプキン」や「上部中央のナプキン」などを生成しましたが、それでもモデルがそれらを確実に区別するには不十分であり、再び同じオブジェクトに grounding されてしまいました。

image図4. デカップルド（分離）型とグラウンデッド（位置付け）型のプランニングの比較。曖昧な言語がどのようにして動作を誤ったオブジェクトに grounding させてしまうかを示しています。

この限界は、環境がしばしば散乱しており複雑である実世界のロボット操作においてより顕著になります。その結果、デカップルド型のアプローチは信頼性を持って機能することが困難となります。一方、我々のアプローチであるグラウンデッドプランニングでは、プランニングと grounding を単一のモデル内で統合的に実行することで、両方の性能を向上させています。

表1は、GroundedPlanBench におけるオープンソースおよびクローズドソースの VLM（Vision-Language Model：視覚言語モデル）の評価結果を示しています。すべてのモデルにおいて、多段階プランニングと暗黙的な指示への対応が課題となりましたが、Qwen3-VL-4B および Qwen3-VL-32B を V2GP でトレーニングしたことで、グラウンデッドプランニングの性能に顕著な改善が見られました。

image 表 1. GroundedPlanBench における評価結果。タスク成功率（TSR）は、すべての行動が正しく計画されかつ空間的に grounded（位置付けられている）ことを要件として、正しく完了したタスクの割合を測定するものです。アクションリコール率（ARR）は、順序に関係なく、生成された行動のうちデータセットで定義されたサブアクションと一致するものの割合を測定します。V2GP アプローチは両方の指標において性能を向上させ、最良の結果（太字で表示）を達成しています。

video series

On Second Thought

AI について誰もが抱いている疑問を中心に構成された、Sinead Bovell との動画シリーズです。Microsoft 全体から集まった専門家の声を通じて、この急速に変化する技術がもたらす緊張感と可能性を解きほぐし、何が進化しており、何が実現可能なのかを探求します。

Explore the series

新しいタブで開きます

Implications and looking forward

単一のモデル内で計画とグラウンディングを統合することは、実世界におけるより信頼性の高いロボット操作への道筋を提供します。別々の段階に依存するのではなく、このアプローチは「何をすべきか」と「どこで行動すべきか」に関する決定を密接に結合しますが、それでもモデルは長く多段階のタスクや暗黙的な指示に対して依然として苦戦しています。モデルは、より長いアクションシーケンスについて推論し、日常言語のように間接的に記述された多くのステップと目標全体で一貫性を維持する必要があります。

将来を見据えると、有望な方向性はグラウンディングされた計画をワールドモデルと組み合わせることであり、これによりロボットは実行前に行動の結果を予測できるようになります。これらの能力を組み合わせることで、ロボットが何をすべきか、どこで行動すべきか、そして次に何が起こるかを決断でき、実世界で信頼性を持って計画し行動できるシステムに近づきます。

謝辞

本研究は、韓国大学校、Microsoft Research、ウィスコンシン大学マディソン校との共同研究により実施され、韓国政府（MSIT）が資金を提供する情報通信技術計画評価研究所（IITP）の助成金（番号 RS-2025-25439490）によって支援されました。

新しいタブで開きます。この記事「GroundedPlanBench: Spatially grounded long-horizon task planning for robot manipulation」は、Microsoft Research の投稿として最初に掲載されました。