Hugging Face、汎用ロボットナビゲーション向け VLM 手法「LightNav-0」公開

身体性ナビゲーションでは、エージェントが多様な目標と視覚的観測をタスクや環境、ロボットの実装を超えて行動に変換する必要があります。最新のビジョン・ランゲージモデル（VLM）は、視覚的グラウンディング、空間推論、指差しのための空間的事前知識をすでに備えていますが、これらの能力がロボットの制御のために直接引き出されることは稀です。既存のナビゲーションシステムはむしろ、タスクや実装に特化したコンポーネントに依存しており、知覚・推論・行動が分断され、汎化性能も限定的です。

ここで提案する LightNav-0 は、事前学習済み VLM の空間的知能を引き出し、ナビゲーションと整合させるコンパクトな一般用身体性ナビゲーションモデルです。タスク特異的な予測ヘッドを必要としません。LightNav-0 は統一されたトークンインターフェースを通じて多様なナビゲーションタスクを表現します。2 つのチャネルを持つ指差し機能により、タスク・シーン・実装に依存しない空間的意図を表現し、残差ベクトル量子化アクショントークナイザーがその意図を精密な実装特異的な軌道へとマッピングします。

時間意識のある視覚履歴圧縮、ER ミッドトレーニング、教師あり微調整、強化学習と組み合わせることで、この形式は単一のモデル内で指示の追従、オープンボキャブラリオブジェクトナビゲーション、視覚的トラッキングを可能にします。ナビゲーション用トレーニングコーパスには、2,000 以上のシーンと 4,000 時間を超える身体性ナビゲーションデータが含まれています。

LightNav-0 の初期化に用いられたエンボディド・リーゾニング（embodied reasoning）チェックポイントである LightNav-ER は、8 つのエンボディド・リーゾニングベンチマーク全体で最高平均スコアを達成しています。一方、LightNav-0 は 10 のすべての公開ナビゲーションシミュレーション設定において、単眼カメラによる成功率で最先端の性能を示しました。

実世界での評価では、ロボットの実装（embodiments）や多様なシーン、静的・動的なターゲット間におけるゼロショット汎化能力も確認されています。これらの結果は、コンパクトな VLM（Vision Language Model）が、一般化されたエンボディド・ナビゲーションのための統一され転送可能なバックボーンとして機能しうることを示しています。