ドローン制御に MLLM を適用し新アーキテクチャ DroneCATS-Agent を提案

マルチモーダル大規模言語モデル（MLLM）は、画像や動画の理解において強力な能力を発揮します。では、その能力が「行動」までどこまで及ぶのでしょうか？本研究では、MLLM をドローンの制御ループに直接組み込み、すべての動作空間をプロンプトのみで定義するアプローチを検証しました。

既存のシステムはこの設定に取り組んでいますが、モデルの意思決定範囲を狭める傾向が強まっています。私たちはその逆を行い、範囲を広げました。提案するのは「DroneCATS-Agent」です。これは MLLM を交換可能なコンポーネントとして扱うアーキテクチャであり、同時に「DroneCATS」というベンチマークではモデルを独立変数として扱います。

単にピクセルに向かって飛ぶだけでなく、このエージェントはモデルに旋回と探索の任を与え、不確実な場合は熟考し、到着を自ら宣言します。これらはすべて、微調整や関数呼び出しスキーマなしで実現されています。

「見えるターゲットへの接近」「移動する対象の追跡」「初期視野外での検索」「マルチドローン群の指揮」という 4 つの中核能力について、最先端モデルとオープンソースモデルを評価した結果、単純な実装環境ですら未解決の問題が山積みであることが明らかになりました。

特に、限界状況で何が最初に破綻するかを特定するために、パラメータ数を 2B に縮小したモデルもテスト対象に含めました。その結果、驚くべき逆説が浮かび上がりました。失敗するのは飛行自体ではありません。小さなオープンモデルは、最先端モデルよりも確実に目標の到達圏内へ進入できるものの、到着を早すぎたり全く宣言しなかったりすることでエピソードに敗北します。

マルチドローンの指揮ではこの格差がさらに拡大します。小さなモデルは、異なる視点間で単一の座標を盲目的にコピーするといったミスで失敗します。

ビジョン・言語・アクションエージェントとして捉えれば、これらのモデルの空間認識能力は概ね信頼できるものの、行動プロトコルには課題が残ります。エッジ環境で実用可能なモデルと最先端モデルを分けるのは、単なるナビゲーション機能ではなく、「宣言されたプロトコルを一貫して維持し、適切な終了アクションを発行する」という規律です。

現在解決すべきオープンな問題は、オンボード計算リソースの制約の中でこのギャップを埋めることです。具体的には、持続的に計画を立てて「完了」を正確に認識できる高速モデルを実現することです。DroneCATS はまさにその距離を測定するために設計されたものです。