複雑な視覚タスク計画のための改良手法

**タイトル: 複雑な視覚タスク計画のためのより優れた手法** MITの研究者らは、ロボットナビゲーションのような長期的な視覚タスクを計画するための、生成人工知能（AI）駆動のアプローチを開発しました。この手法は、既存のいくつかの技術と比べて約2倍の効果を発揮します。 この手法は、専門化された視覚言語モデル（Vision-Language Model, VLM）を用いて画像内の状況を認識し、目標に到達するために必要な一連の行動をシミュレートします。次に、第2のモデルがそのシミュレーション結果を計画問題用の標準的なプログラミング言語に変換し、解を洗練させます。 最終的に、このシステムは古典的な計画ソフトウェアに入力できる一連のファイルを自動生成します。そのソフトウェアが目標達成のための計画を計算します。この2段階システムは平均成功率約70％の計画を生成し、成功率約30％に留まった最高のベースライン手法を上回りました。 重要な点は、このシステムが遭遇したことのない新たな問題も解決できることであり、状況が一瞬で変化する可能性のある現実環境への適用に適しています。 「我々のフレームワークは、画像理解能力のような視覚言語モデルの利点と、形式的ソルバーの強力な計画能力を組み合わせたものです」と、この技術に関するオープンアクセス論文の筆頭著者であり、MITの航空宇宙工学（AeroAstro）大学院生のYilun Haoは述べています。「単一の画像を取り込み、シミュレーションを経て、多くの実用的なアプリケーションで有用となり得る、信頼性の高い長期的計画へと導くことができます。」 共著者は、MIT情報意思決定システム研究所（Laboratory for Information and Decision Systems, LIDS）の大学院生Yongchao Chen氏、AeroAstro准教授でLIDSの主任研究員であるChuchu Fan氏、MIT-IBM Watson AI Labの研究員Yang Zhang氏です。本論文は国際学習表現会議（International Conference on Learning Representations）で発表される予定です。 **視覚タスクへの取り組み** 過去数年間、Fan氏とその同僚は、複雑な推論と計画を実行するための生成AIモデルの利用を研究しており、多くの場合、大規模言語モデル（Large Language Model, LLM）を用いてテキスト入力を処理してきました。 ロボット組み立てや自律走行など、現実世界の多くの計画問題には、LLM単体では適切に処理できない視覚入力が存在します。研究者らは、画像とテキストを処理できる強力なAIシステムである視覚言語モデル（VLM）を活用することで、視覚領域への応用を目指しました。 しかし、VLMはシーン内の物体間の空間関係を理解するのが難しく、複数ステップにわたる推論を正しく行えないことが多々あります。このため、VLMを長期的計画に直接用いることは困難です。 一方で、研究者らは複雑な状況に対して効果的な長期的計画を生成できる、堅牢な形式的プランナーを開発してきました。しかし、これらのソフトウェアシステムは視覚入力を直接処理できず、問題をソルバーが理解できる言語に変換（エンコード）するための専門知識を必要とします。 Fan氏のチームは、両手法の長所を組み合わせた自動計画システムを構築しました。VLM誘導形式的計画（VLM-guided formal planning, VLMFP）と呼ばれるこのシステムは、視覚計画問題を形式的計画ソフトウェアで即座に使用可能なファイルへ変換するために連携する、2つの専門化されたVLMを利用します。 研究者らはまず、SimVLMと呼ぶ小型モデルを注意深く訓練し、自然言語を用いて画像内の状況を記述し、その状況下での一連の行動をシミュレートすることに特化させました。次に、GenVLMと呼ぶはるかに大規模なモデルが、SimVLMによる記述を用いて、Planning Domain Definition Language（PDDL）として知られる形式的計画言語で一連の初期ファイルを生成します。 これらのファイルは、タスク解決のための段階的計画を計算する古典的PDDLソルバーへそのまま入力できます。GenVLMはソルバーの出力結果とシミュレーターの結果を比較し、PDDLファイルを反復的に洗練させます。 「生成器とシミュレーターが協調することで、目標を達成する行動シミュレーションという、まったく同じ結果に到達できるようになります」とHao氏は述べています。 GenVLMは大規模な生成AIモデルであるため、訓練過程でPDDLの多くの事例に触れ、この形式的言語がどのように多様な問題を解決するかを学習しています。この事前知識により、モデルは正確なPDDLファイルを生成できるのです。 **柔軟なアプローチ** VLMFPは2つの独立したPDDLファイルを生成します。1つは環境、有効な行動、領域のルールを定義する「ドメインファイル」です。もう1つは、当面の特定の問題における初期状態と目標を定義する「問題ファイル」です。 「PDDLの利点の一つは、同じ環境内ではドメインファイルが全てのインスタンスで共通であることです。これにより、我々のフレームワークは同じ領域内の未見のインスタンスへもうまく一般化できます」とHao氏は説明します。 システムが効果的に一般化できるようにするため、研究者らはSimVLMが状況内のパターンを単に記憶するのではなく、問題と目標を理解することを学ぶのに「ちょうど十分な」訓練データを注意深く設計する必要がありました。テストでは、SimVLMは実験の約85％において、状況の記述、行動のシミュレーション、目標達成の検知に成功しました。 全体として、VLMFPフレームワークは、6種類の2次元（2D）計画タスクで約60％、マルチロボット協調やロボット組み立てを含む2種類の3次元（3D）タスクでは80％を超える成功率を達成しました。また、以前に経験したことのないシナリオの50％以上に対して有効な計画を生成し、ベースライン手法を大きく上回りました。 「我々のフレームワークは、状況が変わってルールが異なっても一般化できます。これにより、当システムは多種多様な視覚ベースの計画問題を解決する柔軟性を備えています」とFan氏は付け加えます。 今後、研究者らはVLMFPがより複雑なシナリオを処理できるようにするとともに、VLMによる幻覚（ハルシネーション）を検出・軽減する方法を探求したいと考えています。 「長期的には、生成AIモデルがエージェントとして機能し、適切なツールを活用してはるかに複雑な問題を解決する可能性があります。しかし、『適切なツールを持つ』とは具体的にどういう意味で、それらのツールをどのように統合すればよいのでしょうか？道のりはまだ長いですが、視覚ベースの計画をこの全体像に組み込む本研究成果は、パズルの重要な一片なのです」とFan氏は述べています。 この研究は、MIT-IBM Watson AI Labから一部資金提供を受けました。

複雑な視覚タスク計画のための改良手法

背景や根拠まで確認しますか？

調べる

選ぶ

サイト

背景や根拠まで確認しますか？

ニュースの次に確認する

調べる

選ぶ

サイト