AsgardBench: 視覚に基づく対話型計画のためのベンチマーク

![image](https://www.microsoft.com/en-us/research/wp-content/uploads/2026/03/AsgardBench-BlogHeroFeature-1400x788-1.jpg) **概要** タスクを成功裏に完了するためには、身体性AI（embodied AI）エージェントは視覚的フィードバックに基づいて計画を接地（ground）し、更新しなければなりません。 AsgardBenchは、タスクが進行するにつれてエージェントが視覚的観察を用いて計画を修正できるかどうかを純粋に評価します。 12のタスクタイプにまたがる108の制御されたタスクインスタンスからなるこのベンチマークは、エージェントが観察した内容に基づいて計画を適応させることを求めます。 オブジェクトが異なる位置や状態（例：清潔または汚れている）にある可能性があるため、同じ指示でも、同じ環境内であっても異なるアクションシーケンスが必要になる場合があります。 **本文** キッチンを掃除する任務を負ったロボットを想像してみてください。ロボットは環境を観察し、何をすべきかを決定し、例えば洗うように指示されたマグカップがすでにきれいだったり、シンクが他の物でいっぱいだったりするなど、事態が予想通りに進まないときに調整する必要があります。これが身体性AI（embodied AI）の領域です：環境を認識（perception）し、その中で行動するシステムです。 この分野は急速に進歩していますが、これらのシステムを評価することは見た目よりも困難です。多くのベンチマークは、知覚（perception）、ナビゲーション、物理的制御を一度にテストするため、AIエージェントが実際に知覚したものを用いてより良い決定を下しているのか、それとも環境が十分に予測可能で事前のスクリプトで対応できるために単に運が良かっただけなのかを切り分けることが難しくなります。 この問題に対処するために、私たちはAsgardBenchを作成しました。論文「AsgardBench — Evaluating Visually Grounded Interactive Planning Under Minimal Feedback」では、このベンチマークがどのようにしてシンプルだが要求の厳しい課題を提示するかを説明しています：AIエージェントに家庭内タスクを与え、画像を通じて環境を観察させ、知覚したものが予想と矛盾するときに計画を調整できるかどうかを確認します。洗う必要があるマグカップがすでにシンクにあることに気づけるか、あるいはそうでない場合にそれに応じて行動できるか？これがAsgardBenchが答えようとしている核心的な問いです。 家庭内タスクでAIエージェントを訓練・評価するために使用されるインタラクティブな3Dシミュレーション環境であるAI2-THOR上に構築されたAsgardBenchは、エージェントをオブジェクトの近くに配置し、find、pickup、put、clean、toggle_on/offといった、限られた固定のアクションセットを与えます。各ターンで、エージェントはタスクを完了するための完全なステップシーケンスを提案しますが、実行されるのは最初のステップのみです。全体を通して、焦点は計画適応（plan adaptation）に厳密に当てられており、エージェントが部屋を移動したりオブジェクトを操作したりできるかどうかではなく、知覚したものを用いて次のステップを修正できるかどうかが問われます。 例えば、エージェントはマグカップが清潔、汚れている、またはコーヒーで満たされていることを発見したり、シンクに他の多くの物が入っていることを観察したりするかもしれません。したがって、同じ指示でも、タスクが進行するにつれて異なるアクションシーケンスが必要になる場合があります。このプロセスは図1に示されています。 ![image](https://www.microsoft.com/en-us/research/wp-content/uploads/2026/03/AsgardBench-fig1.png)図1: AsgardBenchにおけるエージェントの観察と対応するアクションプラン。各画像はその観察から生成された計画とペアになっています。これは、AsgardBenchがエージェントに固定されたシーケンスに従うのではなく、新しい視覚的証拠に基づいて計画を更新または変更することを求める方法を示しています。 **仕組み** エージェントはインタラクション可能な位置から開始するため、ナビゲーションや視点選択は考慮されません。findアクションによってオブジェクトが視界に入り、環境はコンテナのサイズや配置の詳細を処理するため、エージェントはどのキャビネットやカウンタートップを使用するかを推論する必要はありません。唯一の入力はカラー画像、単純な成功または失敗の信号を含む試行済みアクションの履歴、そしてエージェント自身が次に行おうと計画している内容の記録です。 各ターンで、エージェントはタスクを完了するための完全なステップシーケンスを提案しますが、進行するのは最初のステップのみです。その後、新しい画像と単純な信号（そのアクションは成功したか失敗したか？）を受け取ります。これにより、エージェントがすべてを事前にスクリプト化することを防ぎ、各ステップで計画を再評価・修正することを強制します。総ステップ数と繰り返しアクションに対する組み込みの制限により、無限ループが防止されます。環境は単純なフィードバックのみを提供するため、エージェントは知覚したもの（例：マグカップが汚れているか、蛇口が水を流しているか）に気づき、ステップから次のステップへとタスク内での自身の状況を追跡（state tracking）できなければなりません。 **AsgardBenchの評価** 私たちはAsgardBenchでいくつかの主要な視覚能力を持つモデルをテストし、高性能なモデルが一貫して成功するためには視覚的接地（visual grounding）が必要であることを確認しました。モデル全体を通して、視覚入力を与えることでパフォーマンスが大幅に向上しました：ほとんどのモデルは、シーンのテキストのみの説明と比較して画像が与えられた場合、成功率が2倍以上になりました。これは、エージェントが何が悪かったかについてのテキストフィードバックに頼ることで、視覚なしでもまずまずの性能を発揮できる従来のベンチマークとは対照的です。 そのような詳細な失敗情報を提供することも、AsgardBenchにおけるすべてのモデルのパフォーマンスを向上させますが、それは根本的な問題を覆い隠してしまう可能性があります。最も強力な視覚能力を持つモデルは、詳細なフィードバックを与えられたテキストのみのエージェントよりも優れた性能を示しており、このベンチマークがテキストだけでは再現できない視覚的接地を要求していることを実証しています。AsgardBenchの性能は図2に示されています。 ![image](https://www.microsoft.com/en-us/research/wp-content/uploads/2026/03/AsgardBench-fig2.png)図2. 画像ベースとテキストのみの条件での成功率。視覚入力は最も弱いエージェントを除くすべてのエージェントのパフォーマンスを大幅に向上させますが、テキストのみのパフォーマンスは低いままです。これは、AsgardBenchが知覚ベースの推論（perception-based reasoning）を要求していることを示しています。 結果はまた、現在のエージェントが一貫してどこで失敗するかを明らかにしました。すべてのモデルにわたって、同じ問題が繰り返し現れました：エージェントは実行不可能なアクションを試み（例：シンクにないマグカップをきれいにしようとする）、繰り返しアクションループに陥り、微妙な視覚的合図（オン/オフ、清潔/汚れ）を誤解釈し、ステップから次のステップへとタスクの進行状況における自身の位置を見失いました。これは3つの弱点を示しています：雑然としたシーンでの微妙な視覚的詳細を区別できないこと、複数のステップにわたってタスクの進行状況を正確に把握し続けることができないこと、そしてエージェントが見たものをタイムリーな計画の更新に一貫して変換できないことです。これらを総合すると、次世代の身体性エージェントが改善すべき方向性が示されています。 **示唆と今後の展望** AsgardBenchは診断ツールとしても開発ツールとしても有用です。エージェントが受け取るフィードバック（なし、最小限、または詳細）を変えることで、研究者はパフォーマンス向上がより良い知覚、より良い記憶、またはより良い計画立案のどれによるものかを切り分けることができます。有望な方向性には、より強力な視覚理解とより良い状態追跡（state tracking）を組み合わせたシステム、タスク中に計画を修正することを学ぶことに重点を置いたトレーニングアプローチ、エージェントが成功したかどうかだけでなく、途中でどれだけ適応したかを測定する評価方法が含まれます。 AsgardBenchが明らかにする失敗パターンは、具体的な次のステップを示しています：より細かい視覚的区別ができ、ステップ間で何が変化したかをより確実に追跡し、スクリプトに従って突き進むのではなくタスク中に計画を修正することを学べるシステムを構築することです。これらの課題に進歩を遂げるエージェントは、現実世界の環境の複雑さ（予期しないオブジェクトの状態、雑然としたシーン、絶え間ない適応の必要性）に対して、はるかに優れた能力を備えるはずです。 AsgardBenchはオープンソースであり、GitHub（新しいタブで開く）で利用可能で、視覚的接地型プランニングの研究を進めるための基盤を提供します。 **謝辞** シミュレーションプラットフォームを構築し、再現可能な身体性評価を可能にしてくれたAI2-THORコミュニティに感謝します。 新しいタブで開くこの投稿 AsgardBench: A benchmark for visually grounded interactive planning は、Microsoft Research で最初に公開されました。

AsgardBench: 視覚に基づく対話型計画のためのベンチマーク

背景や根拠まで確認しますか？

調べる

選ぶ

サイト

背景や根拠まで確認しますか？

ニュースの次に確認する

調べる

選ぶ

サイト