ByteDance、自律ロボットナビゲーション向け二重モデル「Astra」を発表

産業製造から日常生活に至るまで、さまざまな分野におけるロボットの統合が進むにつれ、高度なナビゲーションシステムに対する需要が高まっています。しかし、現代のロボットナビゲーションシステムは、多様で複雑な屋内環境において重大な課題に直面しており、従来のアプローチの限界が露呈しています。「今自分はどこにいるのか？」「どこへ向かっているのか？」「どうやってそこにたどり着くのか？」という根本的な問いに応えるため、ByteDance は Astra を開発しました。これは従来のナビゲーションのボトルネックを克服し、汎用型モバイルロボットを実現するために設計された革新的なデュアルモデルアーキテクチャです。 従来のナビゲーションシステムは通常、ターゲットローカライゼーション（目標地点の特定）、セルフローカライゼーション（自己位置推定）、パスプランニング（経路計画）という核心的課題を処理するために、複数の小型でしばしばルールベースのモジュールから構成されています。ターゲットローカライゼーションでは、自然言語や画像の手がかりを理解して地図上の目的地を特定します。セルフローカライゼーションでは、ロボットが地図上での正確な位置を決定する必要があり、特に倉庫のような反復的な環境では困難で、従来の手法は人工ランドマーク（例：QR コード）に依存することが多いです。パスプランニングはさらに、大まかな経路生成のためのグローバルプランニングと、リアルタイムの障害物回避や中間ウェイポイントへの到達のためのローカルプランニングに分かれます。 基盤モデルは、より小さなモデルを統合して広範なタスクに取り組む可能性を示していますが、包括的なナビゲーションのために最適なモデル数とそれらの効果的な統合方法については、依然として未解決の課題となっています。 ![image](https://i0.wp.com/syncedreview.com/wp-content/uploads/2025/06/image-3.png?resize=950%2C243&ssl=1) ByteDance の Astra は、論文「Astra: Toward General-Purpose Mobile Robots via Hierarchical Multimodal Learning」（ウェブサイト：https://astra-mobility.github.io/）で詳細が述べられており、これらの限界に対処しています。System 1/System 2 パラダイム（注：直感的思考と分析的思考の二重プロセスモデル）に従い、Astra は Astra-Global と Astra-Local という 2 つの主要なサブモデルを特徴としています。Astra-Global は目標および自己位置推定のような低周波数のタスクを処理し、一方 Astra-Local は局所経路計画やオドメトリ推定（odometry estimation）のような高周波数のタスクを管理します。このアーキテクチャは、ロボットが複雑な屋内空間をナビゲーションする方法に革命をもたらすことを約束しています。 ![image](https://i0.wp.com/syncedreview.com/wp-content/uploads/2025/06/image-4.png?resize=950%2C478&ssl=1) Astra-Global: 全球位置推定のための知的脳 Astra-Global は Astra アーキテクチャの知的コアであり、自己位置推定と目標位置推定といった低周波数の重要なタスクを担当します。これはマルチモーダル大規模言語モデル（MLLM: Multimodal Large Language Model）として機能し、視覚情報と言語入力の両方を処理して、地図内での正確なグローバル位置特定を実現します。その強みは、文脈入力としてハイブリッドトポロジカルセマンティックグラフを利用する点にあり、クエリ画像やテキストプロンプトに基づいてモデルが正確に位置を特定できることを可能にしています。 この堅牢な位置推定システムの構築は、オフラインマッピングから始まります。研究チームは、ハイブリッドトポロジカルセマンティックグラフ G=(V,E,L) を構築するためのオフライン手法を開発しました。 V (ノード): 入力ビデオの時間方向ダウンサンプリングと SfM（Structure from Motion）によって推定された 6 自由度（DoF: Degrees of Freedom）カメラ姿勢から得られるキーフレームが、カメラ姿勢とランドマーク参照を符号化するノードとして機能します。 E (エッジ): 無向エッジは、相対的なノード姿勢に基づいて接続性を確立し、グローバルな経路計画に不可欠です。 L (ランドマーク): セマンティックランドマーク情報は、Astra-Global が各ノードにおける視覚データから抽出するもので、地図のセマンティック理解を強化します。これらのランドマークはセマンティック属性を保持しており、共視関係を通じて複数のノードと接続されています。 実用的な位置特定において、Astra-Global の自己位置推定および目標位置特定機能は、視覚言語に基づく位置特定のための粗い段階から細かい段階へと進む二段階プロセスを活用しています。粗い段階では入力画像と位置特定プロンプトを分析し、ランドマークを検出し、事前に構築されたランドマークマップとの対応関係を確立し、視覚的一貫性に基づいて候補をフィルタリングします。その後、細かい段階ではクエリ画像と粗い段階の出力を用いてオフラインマップから参照マップノードをサンプリングし、それらの視覚情報および位置情報を比較することで、予測されたポーズを直接出力します。 ![image](https://i0.wp.com/syncedreview.com/wp-content/uploads/2025/06/image-5.png?resize=950%2C725&ssl=1) 言語ベースの目標位置特定においては、モデルは自然言語指示を解釈し、マップ内の機能的記述を用いて関連するランドマークを特定した後、ランドマークとノードとの対応付けメカニズムを活用して関連ノードを検出し、目標画像および 6-DoF（6 自由度）ポーズを取得します。 Astra-Global に堅牢な位置特定能力を持たせるために、チームは綿密なトレーニング手法を採用しました。バックボーンとして Qwen2.5-VL を使用し、教師あり微調整（Supervised Fine-Tuning: SFT）とグループ相対政策最適化（Group Relative Policy Optimization: GRPO）を組み合わせました。SFT には、粗い位置特定と細かい位置特定、共視検出、運動傾向推定など多様なタスクに対応する多様なデータセットが用いられました。GRPO フェーズでは、フォーマット、ランドマーク抽出、マップマッチング、追加のランドマーク報酬を含むルールベースの報酬関数を用いて、視覚言語による位置特定のためのトレーニングが行われました。実験により、GRPO は Astra-Global のゼロショット汎化能力を大幅に向上させ、未見の家庭環境において 99.9% の位置特定精度を達成し、SFT のみの手法を上回りました。 Astra-Local: ローカルプランニングのためのインテリジェントアシスタント Astra-Local は、Astra の高頻度タスクに対するインテリジェントアシスタントとして機能するマルチタスクネットワークであり、センサーデータから効率的にローカルパスを生成し、オドメトリを正確に推定する能力を備えています。そのアーキテクチャは、4 次元時空間エンコーダ、プランニングヘッド、およびオドメトリヘッドの 3 つのコアコンポーネントで構成されています。 ![image](https://i0.wp.com/syncedreview.com/wp-content/uploads/2025/06/image-6.png?resize=950%2C502&ssl=1) 4D 時空間エンコーダーは、従来のモバイルスタックの知覚および予測モジュールを置き換えます。まず、3D 空間エンコーダーが N 枚の全方向画像を処理し、Vision Transformer (ViT) および Lift-Splat-Shoot を用いて 2D 画像特徴量を 3D ボクセル特徴量へ変換します。この 3D エンコーダーは、3D 体積微分可能なニューラルレンダリングを用いた自己教師あり学習によって訓練されます。次に、4D 時空間エンコーダーはこの 3D エンコーダーを基盤とし、過去のボクセル特徴量と未来のタイムスタンプを入力として受け取り、ResNet および DiT モジュールを通じて未来のボクセル特徴量を予測します。これにより、プランニングおよびオドメトリのための現在および将来の環境表現が提供されます。 プランニングヘッドは、事前学習された 4D 特徴量、ロボットの速度、タスク情報に基づき、Transformer ベースのフローマッチングを用いて実行可能な軌道生成を行います。衝突防止のため、プランニングヘッドはマスク付き ESDF ロス（Euclidean Signed Distance Field）を組み込んでいます。このロスは 3D 占有マップの ESDF を計算し、2D のグランドトゥルース軌道マスクを適用することで、衝突率を大幅に低減します。実験により、他の手法と比較して、分布外 (OOD) データセットにおける衝突率および総合スコアにおいて優れた性能を示すことが実証されています。 オドメトリヘッドは、現在の過去 4 次元特徴量および追加のセンサーデータ（例：IMU、車輪データ）を使用してロボットの相対姿勢を予測します。これは、異なるセンサーからの情報を融合させるために Transformer モデルを訓練します。各センサーモダリティは特定のトークナイザーによって処理され、モダリティ埋め込みと時間的位置埋め込みと結合され、Transformer エンコーダーに供給された後、最終的に CLS トークンを使用して相対姿勢を予測します。実験により、オドメトリヘッドがマルチセンサー融合および姿勢推定において優れた性能を示し、回転精度が大幅に向上し、全体的な軌道誤差が削減されることが示されました。 実験的検証 Astra の性能を包括的に評価するために、多様な屋内環境（倉庫、オフィス、家庭）で広範な実験が行われました。 Astra-Global のマルチモーダル位置特定能力は、さまざまな実験を通じて検証され、テキストおよび画像の位置特定クエリを処理する際の卓越したパフォーマンスが示されました。ターゲット位置特定においては、テキストコマンド（例：「休憩エリアを見つける」）に基づいて一致する画像と姿勢を正確に識別します。従来の Visual Place Recognition (VPR) 手法と比較して、Astra-Global は以下の点で顕著な優位性を示しています: 詳細キャプチャ: VPR がグローバル特徴量に依存するのに対し、Astra-Global は部屋番号などの微細な詳細を正確に捉え、類似シーンにおける位置特定エラーを防ぎます。 視点ロバストネス：セマンティックランドマークに基づき、Astra-Global はカメラアングルの大規模な変化があっても安定した位置推定を維持します。これは通常、VPR（視覚的位置認識）手法が失敗する状況です。 姿勢精度：Astra-Global はランドマークの空間関係を活用して最適なマッチング姿勢を選択し、従来の VPR よりも著しく高い姿勢精度を示します（倉庫環境では 30% 以上の改善）。具体的には、距離誤差が 1 メートル以内、角度誤差が 5 度以内に収まります。 ![image](https://i0.wp.com/syncedreview.com/wp-content/uploads/2025/06/image-7.png?resize=950%2C654&ssl=1) ![image](https://i0.wp.com/syncedreview.com/wp-content/uploads/2025/06/image-8.png?resize=640%2C480&ssl=1) ![image](https://i0.wp.com/syncedreview.com/wp-content/uploads/2025/06/image-9.png?resize=808%2C194&ssl=1) Astra-Local のプランニングヘッドとオドメトリヘッドは徹底的に評価されました。Transformer ベースのフローマッチングとマスク付き ESDF 損失（ESDF: Expanded Signed Distance Field）を採用したプランニングヘッドは、OOD データセット上で ACT や拡散ポリシーなどの手法を上回り、衝突率、速度、総合スコアにおいて優れた性能を示しました。これは、マスク付き ESDF 損失が衝突リスクを軽減する効果が高いことを示しています。 オドメトリヘッドの性能は、同期された画像シーケンス、IMU（慣性計測ユニット）、車輪データ、およびグランドトゥルースポーズを含むマルチモーダルデータセット上で評価されました。2フレームベースラインのBEV-ODOMと比較して、Astra-Local のオドメトリヘッドは、マルチセンサー融合と姿勢推定において顕著な優位性を示しました。IMU データを統合することで回転推定の精度が劇的に向上し、全体の軌道誤差は約 2% に低減されました。さらに車輪データを含めることでスケールの安定性と推定精度が強化され、その優れたマルチセンサーデータ融合能力が実証されました。 Astra は将来の開発と応用において大きな可能性を秘めています。その展開は、大規模なショッピングモール、病院、図書館などより複雑な屋内環境へと拡大でき、そこでは製品の正確な位置特定、効率的な医療資材の配送、書籍の整理などのタスクを支援することが可能です。 しかし、改善すべき領域も存在します。Astra-Global において、現在のマップ表現は情報損失とトークン長のバランスを保っていますが、時として重要な意味論的詳細が欠ける場合があります。今後の研究では、効率性を最適化しつつ意味論的情報の保持を最大化するために、代替的なマップ圧縮手法に焦点を当てます。さらに、現在の単一フレームによる位置特定は、特徴が少ない環境や非常に反復的な環境では失敗する可能性があります。今後の計画には、より堅牢な位置特定を実現するための能動的探索メカニズムと時間的推論の導入が含まれています。 Astra-Local においては、分布外 (OOD) シナリオに対する堅牢性の向上が極めて重要であり、モデルアーキテクチャとトレーニング手法の強化が必要です。また、システム安定性を高めるために、フォールバックシステムの再設計を行い、より密接な統合とシームレスな切り替えを実現する計画も進められています。さらに、指示従順機能の統合により、ロボットが自然言語コマンドを理解して実行できるようになり、動的で人間中心の環境における利用可能性が拡大し、より自然な人間 - ロボット間の相互作用を促進します。 本記事「ByteDance Introduces Astra: A Dual-Model Architecture for Autonomous Robot Navigation」は、Synced に最初に掲載されました。

ByteDance、自律ロボットナビゲーション向け二重モデル「Astra」を発表

背景や根拠まで確認しますか？

このニュースを、実務の判断につなげる

調べる

選ぶ

サイト