Robostral Navigate：単眼カメラによる AI ナビゲーション（5 分読了）
Robostral は単一のカメラのみで自律移動を実現する新技術「Navigate」を発表し、ロボットの視覚ナビゲーションにおけるコストと複雑さの壁を突破した。
キーポイント
単一カメラによる自律ナビゲーションの実現
従来のステレオや LiDAR を必要とするシステムに対し、単一のカメラのみで環境を理解し自律的に移動する技術「Navigate」を開発した。
ハードウェアコストと複雑さの削減
高価な深度センサーや複数のカメラアレイを不要にすることで、ロボットの製造コストを大幅に下げ、導入のハードルを低下させる。
AI による深層推論の活用
単眼画像から距離感や空間構造を高精度に推定する AI モデルを採用し、従来の幾何学的アプローチでは困難だった複雑な環境への対応を可能にした。
重要な引用
single-camera AI navigation
autonomously navigate
影響分析・編集コメントを表示
影響分析
この技術は、ロボティクス業界における「高価な深度センサーへの依存」という構造的課題に対する強力な解決策となり、自律移動ロボットの普及速度を加速させる可能性があります。特に、既存インフラの制約やコスト制約が厳しい現場での実装において、AI による視覚推論能力の向上が新たな基準となるでしょう。
編集コメント
単眼カメラでの自律移動は長年の課題でしたが、AI の進化により実用レベルに達しつつあることを示す重要な事例です。今後、この技術がどの程度の環境適応力を見せるかが注目されます。
思考
要約
Robostral Navigate は、単一の RGB カメラのみを用いてロボットが複雑な環境を自律的に航行可能にする 8B モデルであり、未見の R2R-CE ベンチマークで 76.6% の成功率を達成しています。これはマルチセンサーアプローチを上回る性能を示しつつ、より効率的です。シミュレーションデータとトークン効率化技術を駆使して完全に自社開発され、ロボットの種類を超えて汎用性を有し、トレーニング時に未体験の現実世界の障害物にも適応します。このモデルは、指差すようなナビゲーション手法と強化学習を組み合わせることで継続的な改善を実現し、ロボティクスにおける統一された具現化 AI の道を開くものです。
本日、私たちは具現化型ナビゲーションのために構築した最初のモデルである Robostral Navigate を発表します。これは RGB 画像と自然言語の指示を入力として受け取り、ロボットを環境内へ移動させる 8B モデルです：
「ロビーを出て、廊下を通り抜け、備品室に入り、2 番目の棚に向かい止まる。」
このようなタスクを実行する際、他のモデルはしばしば深度センサーや LiDAR（ライダー）、あるいは複数のカメラを連携させて使用します。一方、Robostral Navigate は通常の RGB カメラ 1 つのみを使用し、深度センサーは一切用いませんが、それでもトレーニングから除外された環境における指示追従のベンチマークである R2R-CE（Room-to-Room in Continuous Environments）の未見検証データで 76.6% のスコアを達成しています。その結果、単一カメラ方式の最良アプローチよりも 9.7 ポイント、深度センサーや複数カメラを使用する最良システムよりも 4.5 ポイント上回る性能を示しています。
当モデルはロボティックナビゲーションのために設計されており、オフィス、住宅・商業ビル、屋外環境などを含む複雑な環境を自律的に航行する能力を提供します。
*Robostral Navigate は、作業中のオフィス内を単一の長距離指示に従って完全に自律的に走行しています。*
この技術は製造業、配送、物流、ホスピタリティ分野において多数の応用可能性を開き、現在のお客様にとって最も需要の高い機能の一つとなっています。Robostral Navigate に1 つの指示を与えるだけで、そのロボットは人々や障害物で満たされたライブ空間を移動しながら、これまで見たことのない環境にも適応し、タスク全体を自律的に完了します。
ハイライト
- R2R-CE における最先端のパフォーマンス
- バリデーションデータセットでの成功率 79.4%
- バリデーション未見データセットでの成功率 76.6%
- LiDAR や深度センサーを必要とせず、単一の RGB カメラのみで動作
- 社内開発の 8B モデルであり、シミュレーション上で完全にトレーニング済み
- 車輪式、脚式、飛行型ロボットすべてに対応し、ロボットのサイズ間でも汎化可能
- カメラ内部パラメータの違いに対してロバスト
- プレフィックスキャッシングによるトークン効率の高いトレーニング
ポインティングによるナビゲーション
タスクと観測履歴が与えられた場合、Robostral Navigate は*ポインティング（pointing）*を通じてロボットが次に移動すべき場所を予測します。これは、ロボットの現在のカメラビューにおける目標地点の画像座標と、到着時の希望する向きを推論するものです。計測変位に依存するコマンドとは異なり、ポインティングはカメラの内部パラメータや世界のスケールの変化に対してポリシーが自然に頑健になるようにします。
しかし、この手法では目標地点が現在の視野外にある場合に対応できません。ポインティングが適用できない場合、モデルはロボットのローカル座標系における変位にフォールバックします。例えば：
「2 メートル前方へ移動し、1.5 メートル左へ移動し、25 度左へ回転する。」
一から構築されたシステム
Robostral Navigate は完全に自社開発であり、既存のオープンソース VLM（Vision-Language Model）に依存していません。
このモデルは、ポインティング、カウント、物体の位置特定などのグラウンディングタスクに特化したビジョン・ランゲージモデルから初期化されます。ナビゲーションはこれらの機能の自然な拡張として現れます：一度ものがどこにあるかを理解すれば、どのように移動するかを学習するのです。
私たちは、シミュレーションのみで効率的なデータ生成パイプラインを構築しました。これによりデータの迅速な反復が可能となり、6,000 シーンにわたって収集された約 400,000 の軌道（trajectories）からなるデータセットが実現されました。**
効率的な教師あり学習
Robostral Navigate の重要な要素の一つは、プレフィックスキャッシングに基づく効率的なトレーニングアルゴリズムです。ツリーベースのアテンションマスキング戦略を用いることで、本手法はエピソード全体を単一のシーケンスに圧縮し、すべての時間ステップにおけるトレーニングを単一の前向きパスで実行可能にしつつ、時間ステップ間の情報漏洩を防ぎます。
1 つのサンプルを各時間ステップで使用する従来のトレーニングと比較して、本アプローチは学習信号をすべて保持したまま、トレーニングトークンの数を22 倍削減します。実際には、この方法により、従来なら数ヶ月かかったトレーニング実行が、数日で完了するものへと変換されます。
オンライン強化学習
私たちは、大規模なポストトレーニング LLM（大規模言語モデル）に関する知見を活用し、オンライン強化学習（online reinforcement learning）を用いて Robostral Navigate の性能を向上させています。教師あり学習の段階の後、さらに CISPO というオンライン強化学習アルゴリズムを使用してモデルの性能を改善しています。これにより、モデルは試行錯誤から学び、失敗から回復し、探索的な行動を獲得することが可能となり、従来の行動クローニング（behavior cloning）が抱える分布シフト（distribution shift）の問題を効果的に緩和します。これだけで成功率は 3.2% 向上しました。現在、性能の頭打ち現象は見られておらず、さらなるトレーニングと実験によってこの数値がさらに引き上げられることに確信を持っています。
What's Next
Robostral Navigate は、統一された具身型エージェント（embodied agent）への第一歩に過ぎません。
私たちは、ナビゲーションが汎用ロボティクスにおける基盤的な能力であると信じています。大規模シミュレーション、効率的なトレーニング、そして強力な事前知識（grounding priors）を組み合わせることで、Robostral Navigate は、コンパクトなモデルと単一の RGB カメラのみで最先端の具身型ナビゲーションを実現できることを示しました。
具身型フロンティア AI への旅を始めましょう。私たちのチームにお問い合わせください。
BTW, we're hiring!
私たちのナビゲーションモデルのリリースは重要な一歩ですが、私たちの旅はまだ終わっていません。私たちの野望は、ロボットがオフィス、家庭、商業ビル、屋外空間といった複雑な環境を自律的に移動できるようにすることです。そして、まだやるべきことはたくさんあります。私たちは現在、ロボティクスチームを積極的に拡大しており、私たちの野望に共感する才能ある研究科学者やエンジニアを探しています。
至る所のロボットにシームレスなナビゲーションをもたらすという私たちのミッションに参加することに興味があれば、私たちのチームへの参加 を歓迎します。
*By Théo Cachet, Arjun Majumdar, Srijan Mishra, Thomas Chabal, Chris Bamford, Elliot Chane-Sane, Benjamin Tibi, Ludovic Ho Fuh, Olivier Duchenne - AI Science Robotics*
原文を表示
Thinking
Summary
Robostral Navigate is an 8B model that enables robots to autonomously navigate complex environments using only a single RGB camera, achieving 76.6% success on unseen R2R-CE benchmarks—outperforming multi-sensor approaches while being more efficient. Built entirely in-house with simulated data and token-efficient techniques, it generalizes across robot types and adapts to real-world obstacles unseen during training. The model combines pointing-based navigation with reinforcement learning for continuous improvement, paving the way for unified embodied AI in robotics.
Today we're introducing Robostral Navigate, our first model built for embodied navigation. It's an 8B model that takes RGB images and a plain-language instruction and moves a robot through an environment:
“Leave the lobby, walk through the corridor, enter the supply room, and stop to face the second shelf.”
To perform such tasks, other models often employ depth sensors, LiDAR, or several cameras working together. Robostral Navigate uses only one ordinary RGB camera and no depth sensors, yet still achieves 76.6% on R2R-CE (Room-to-Room in Continuous Environments) validation unseen, the benchmark for following instructions in environments held out of training. Consequently, it beats the best single-camera approach by 9.7 points and the best system using depth or multiple cameras by 4.5 points, despite using neither.
Our model is designed for robotic navigation, enabling robots to autonomously navigate complex environments, including offices, residential and commercial buildings, and outdoor settings.
*Robostral Navigate running fully autonomously in one long-horizon instruction route through a working office.*
This technology unlocks numerous applications across manufacturing, delivery, logistics, and hospitality, making it one of the most in-demand capabilities for our customers today. Give Robostral Navigate one instruction and it completes the entire task on its own, moving through a live space full of people and obstacles it was never shown, capable of adapting to any setting.
Highlights
- State-of-the-art performance on R2R-CE
- 79.4% Success Rate on validation seen
- 76.6% Success Rate on validation unseen
- Operates from a single RGB camera, with no LiDAR or depth sensors
- 8B model, built in-house and trained entirely in simulation
- Runs on wheeled, legged, and flying robots, and generalizes across robot sizes
- Robust to differences in camera intrinsics
- Token-efficient training via prefix-caching
Navigation via pointing
Given a task and a history of observations, Robostral Navigate predicts where the robot should move next via *pointing*: it infers the image coordinates of the target location in the robot's current camera view, together with the desired orientation upon arrival. Unlike commands relying on metric displacements, pointing makes the policy naturally robust to changes in camera intrinsics and world scale.
However, this method cannot handle cases where the target location lies outside the current field of view. When pointing does not apply, the model falls back to displacements in the robot's local coordinate frame, such as:
"Move 2 meters forward, 1.5 meters to the left, and turn 25 degrees left."
Built from the ground up
Robostral Navigate is built entirely in-house and does not rely on existing open-source VLMs.
The model is initialized from our vision-language model specialized for grounding tasks such as pointing, counting, and object localization. Navigation emerges as a natural extension of these capabilities: once it understands where things are, it learns how to move.
We built an efficient data generation pipeline entirely in simulation. This enabled rapid iteration on the data, resulting in a dataset of approximately 400,000 trajectories collected across 6,000 scenes.
Efficient supervised training
A key ingredient of Robostral Navigate is an efficient training algorithm based on prefix-caching. Using a tree-based attention-masking strategy, our method compresses an entire episode into a single sequence, enabling training on all time steps in a single forward pass while preventing information leakage between time steps.
Compared to training with one sample per time step, our approach reduces the number of training tokens by 22× while preserving all of the learning signals. In practice, this method transforms training runs that would take months into runs that complete in days.
Online reinforcement learning
We leverage our knowledge of post-training LLMs at scale, using online reinforcement learning, to boost the performance of Robostral Navigate. After the supervised training stage, we further improve the model's performance using CISPO, an online reinforcement learning algorithm. This enables the model to learn from trial and error, recover from failures, and acquire exploratory behaviors, effectively mitigating the distribution shift issue of vanilla behavior cloning. This alone improved the success rate by 3.2%. We are not seeing any plateauing, so we are confident that more training and more experiments will continue to push this number up.
What's Next
Robostral Navigate is only the first step toward a unified embodied agent.
We believe navigation is a foundational capability for general-purpose robotics. By combining large-scale simulation, efficient training, and strong grounding priors, Robostral Navigate demonstrates that state-of-the-art embodied navigation can be achieved with a compact model and a single RGB camera.
Start your journey to embodied frontier AI, talk with our team.
BTW, we're hiring!
The release of our navigation models marks a significant step forward, but our journey is far from over. Our ambition is to enable robots to autonomously navigate complex environments—offices, homes, commercial buildings, and outdoor spaces—and there's a lot more work to do. We are actively expanding our robotics team and looking for talented research scientists and engineers who share our ambition.
If you're interested in joining us on our mission to bring seamless navigation to robots everywhere, we welcome your applications to join our team!
*By Théo Cachet, Arjun Majumdar, Srijan Mishra, Thomas Chabal, Chris Bamford, Elliot Chane-Sane, Benjamin Tibi, Ludovic Ho Fuh, Olivier Duchenne - AI Science Robotics*
関連記事
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み