アント・グループ傘下のロビーアンツが、クロスエンボディメントロボット操作向けのオープンソース6Bビジョン言語アクション（VLA）モデル「LingBot-VLA 2.0」をリリース
Ant Group の Robbyant が、汎用ロボット制御の課題を解決するオープンソース VLA モデル「LingBot-VLA 2.0」を公開し、6B パラメータで多様なロボットへの一般化と高速推論を実現した。
キーポイント
実用性の高いデータパイプラインとフィルタリング
9 万時間の生データを、3 次微分（ジャーク）や URDF 検証など厳格な基準でフィルタリングし、20 種類のロボット構成に対応する高品質な 6 万時間データを構築した。
統一された動作表現と MoE アーキテクチャ
異なるロボットの関節や姿勢を 55 次元の標準ベクトルに統一し、Mixture-of-Experts (MoE) 設計を採用することでスケーラビリティと精度を両立させた。
Qwen3 ベースの高速推論性能
Qwen3-VL-4B-Instruct をバックボーンに、10 回のデノイジングステップで約 130ms の推論時間を達成し、実時間でのロボット制御を可能にした。
スパース MoE アーキテクチャによる効率化と性能向上
フィードフォワードネットワークをスパース MoE レイヤーに置き換え、各トークンでトップ K の専門家のみを活性化することで計算コストを抑えつつ、Dense ベースラインより低いトレーニング損失と検証エラーを実現しました。
予測的動作のためのデュアルクエリ・ディストillation
現在の観測と未来の観測（T 時間先）をターゲットとする2つの学習可能クエリを追加し、Depth モデルと DINO-Video ティーチャーから幾何学的・時系列的な事前知識を教示することで、反応だけでなく予測的な実行を実現しています。
クロスエンボディメントでの汎用性と OOD 性能
GM-100 ベンチマークで複数のロボットプラットフォームに単一ポリシーとして適用可能であり、特に物体の正確なグラウンディングが必要なタスクや、訓練分布外（OOD）の環境下でも顕著な性能向上を示しました。
汎用的な動作空間と事前学習規模
腕、手首、移動ベースなどを統合した55次元の標準化された動作空間を採用し、約6万時間のデータで事前学習されています。
影響分析・編集コメントを表示
影響分析
このリリースは、VLA モデルが実験室の成果物から実社会での汎用ロボット制御へ移行する重要な転換点となる。特に、データ品質の厳格な管理と統一された動作表現の採用により、異なるハードウェアへの移植コストを大幅に削減し、オープンソース生態系におけるロボティクス標準基盤としての地位を確立する可能性がある。
編集コメント
「ラボで動くが現場では失敗する」という VLA モデルの長年の課題に対し、データ品質管理とアーキテクチャ設計の両面から具体的な解決策を示した点が高く評価されます。Apache-2.0 での完全公開は、産業応用への道を開く重要な一歩です。
Ant Group の Robbyant は、ロボット向けのビジョン・言語・アクション（VLA）基盤モデルである LingBot-VLA 2.0 をリリースしました。このリリースには技術報告書、Apache-2.0 ライセンスのコードベース、および 6B パラメータのチェックポイントが含まれています。研究チームが狙っているのは、よく知られた課題です。VLA モデルは実験室では機能しても、実運用ではつまずくことが多いのです。LingBot-VLA 2.0 は、以前のバージョンを 3 つの実践的な軸に沿って進化させました。それらは一般化能力の向上、拡張されたアクション空間、そして予測ダイナミクスモデルです。
LingBot-VLA 2.0 とは何か？
LingBot-VLA 2.0 は、ビジョン・言語バックボーンを基盤とした汎用ロボットポリシーです。カメラ画像と言語指示をロボットアクションに変換します。公開されているモデル「lingbot-vla-v2-6b」は、6B の「ネイティブ深度（native depth）」チェックポイントです。VLM バックボーンとして Qwen3-VL-4B-Instruct を使用しています。トレーニングは、LingBot-Depth と DINO-Video という 2 つの教師モデルによる蒸留を通じて監督されます。
1 回の推論呼び出しには、NVIDIA GeForce RTX 4090D で約 130 ms かかります。この測定値は 10 のデノイジングステップを使用しています。アクションエキスパートは、スケーリングのために Mixture-of-Experts（MoE）設計を採用しています。
データパイプライン：20 の構成にわたる 60,000 時間
一般化はデータから始まります。研究チームは約 60,000 時間の事前学習データを構築しました。これにはロボット軌跡の 50,000 時間と、主観視点（egocentric）人間の動画 10,000 時間が含まれます。ロボットデータは、単腕型から完全なヒューマノイドまで、20 の異なるロボット構成をカバーしています。生データのプールはさらに大きく、約 90,000 時間のロボットデータと 20,000 時間の人視点動画が含まれています。再設計されたパイプラインがノイズの多いサンプルをフィルタリングし、高品質なセットへと絞り込んでいます。
フィルタリングは明示的かつ計測可能です。研究チームは、各エンボディメント（embodiment）ごとに速度と加速度の Z スコアに加え、3 次微分であるジャーク（jerk）を計算します。滑らかさが異常であったり、95% 以上が静止信号であるエピソードは除外されます。動画は、各ロボットの URDF を用いて再生された状態と比較して検証されます。アノテーターは、ぼかし、遮蔽、フレームの欠落、マルチビュー間の位置ズレを除去します。主観視点のクリップは VLM（Vision-Language Model）フィルタを通過し、その後、主観視点 SLAM と MANO による手ポーズ再構成が行われます。
アノテーションはビジョン・ランゲージモデルを用いて自動化されています。Qwen3.6-27B が各動画を時間的に連続するサブタスクにセグメント化します。各サブタスクには、18 カテゴリからなるクローズドな語彙から原子行動が割り当てられます。この語彙には 15 のプリミティブ行動に加え、移動（transit）、待機（idle）、その他が含まれます。コーパス全体を通じて、移動とトランジットが頻度で支配的です。
統一された行動表現
異なるロボットは異なるジョイントを露出するため、LingBot-VLA 2.0 はそれらを統合します。状態および行動に対して、55 次元の標準ベクトル（canonical vector）を使用します。このレイアウトはデータセット内のすべてのエンボディメントで固定されています。
コンポーネント 次元数
アーム関節位置14
エンドエフェクタ姿勢14
グリッパ位置2
ハンド関節位置12
ウェスト位置4
ヘッド位置2
モビリティ信号3
予約済み4
各アームのエンドエフェクタ姿勢は、XYZ座標に回転クォータニオンを加えたもので構成され、アームあたり7次元となります。身体の一部を欠くロボットの場合は、対応する次元をパディングします。これにより、1 つのモデルでアーム、ハンド、グリッパ、ウェスト、ヘッド、および移動ベースを制御することが可能になります。
MoE アクションエキスパート
アクションエキスパートは、フィードフォワードネットワークをスパースな MoE 層に置き換えます。各 MoE 層では、1 つの共有エキスパートと複数のルーティング済みエキスパートが保持されます。トークンごとにトップ K のルーティング済みエキスパートのみが活性化するため、アクティブな計算量は制限されたまま保たれます。各エキスパートは、中間幅を小さくした SwiGLU MLP です。
ルーティングは、DeepSeek-V3 に着想を得たシグモイドベースで補助損失のない戦略に従います。負荷不均衡を修正するためにエキスパートごとのバイアスが用いられますが、負荷バランス用の損失関数は追加されません。ルーティングの信頼性は依然としてモデルの元の非バイアス付きアフィニティスコアに基づきます。アクティブパラメータ数を同等に保った場合、MoE モデルは密なベースラインよりも低いトレーニング損失を達成します。また、GM-100 タスクにおいても、検証用アクションエラーが低減されます。
予測ダイナミクスのためのデュアルクエリ蒸留
実際の実行には、現在のフレームへの反応だけでなく、先読みが必要です。LingBot-VLA 2.0 は、視覚トークンとテキストトークンの両方に 2 つの学習可能なクエリを追加します。Qt は現在の観測をターゲットとし、Qt+T は将来の観測をターゲットとします。ホライズン T はアクションチャンクのサイズに等しく設定されます。
2 名の教師がこれらのクエリを監督します。LingBot-Depth は深度予測を通じて明示的な幾何学的手がかりを提供します。DINO-Video は時間的に根ざした意味的事前知識を提供します。DINO-Video は、ブロックごとの因果的な時系列アテンションと 3D-RoPE を備えた DINOv3 バックボーンを基盤として構築されています。これはインターネット、自己中心視点、およびロボティクスデータにわたる 500 万本の動画クリップでトレーニングされています。LARYBench 評価において、DINO-Video は 4 つの指標のうち 3 つで首位を占めています。
ベンチマーク結果
Robbyant は、GM-100（Great March 100）という二足歩行型ロボットのベンチマークにおいて、一般化された設定でモデルを評価します。各エンボディメントに対して 9 タスクを同時に学習した単一のポリシーが用いられます。結果は進捗スコア / 成功率として報告されます。
プラットフォーム GR00T N1.7π0.5 LingBot-VLA-1.0 LingBot-VLA-2.0
AgileX Cobot Magic36.3 / 17.859.1 / 32.258.2 / 30.066.2 / 34.4
Galaxea R1Pro16.4 / 5.627.4 / 8.932.7 / 15.634.6 / 15.6
長期ホライゾンのモバイルマニピュレーションにおいては、モデルは 2 つの設定下でテストされます。インドメイン（ID）ではトレーニング分布を使用し、OOD では姿勢とオブジェクトに摂動を加えます。
エンボディメント タスク設定 LingBot-VLA-2.0π0.5
Astribot S1冷蔵庫の仕分けインドメイン77.1 / 60.065.3 / 46.7
Astribot S1冷蔵庫の仕分けOOD37.0 / 13.330.3 / 6.7
Cobot Magic-ARX X5ストーブの清掃インドメイン84.3 / 66.779.9 / 60.0
Cobot Magic-ARX X5ストーブの清掃OOD67.5 / 40.062.5 / 33.3
改善幅が最も大きいのは、正確な物体のグラウンディング（grounding）を必要とするタスクです。Agilex Retrieve keychain では、バージョン 1.0 と比較して成功率が 60.0 から 100.0 に向上しました。一部のタスクでは、進捗と成功の間にまだギャップが見られます。このギャップは、最終的な精密な配置やリリースステップにおける失敗を示唆しています。
始め方
本リポジトリには、インストール、ダウンロード、デプロイメントのスクリプトが含まれています。以下の例では、公開された重み（weights）をダウンロードする方法を示します。
Copy CodeCopiedUse a different Browser
環境：Python 3.12, PyTorch 2.8.0, flash-attn 2.8.3
python3 scripts/download_hf_model.py --repo_id robbyant/lingbot-vla-v2-6b --local_dir lingbot-vla
実機でのデプロイメントでは、コンパイルされた推論（inference）を実行するポリシーサーバーを起動します。
Copy CodeCopiedUse a different Browser
export QWEN3VL_PATH=path_to_Qwen3-VL-4B-Instruct
python -m deploy.lingbot_vla_v2_policy \
--model_path path_to_posttraining_ckpt \
--use_compile \
--use_length 25 \
--port port
ポストトレーニング（post-training）では、LeRobot v2.1 または v3.0 のデータセットを使用します。提供された例では、Robbyant RoboTwin 2.0 上の 50 タスクに対してファインチューニングを行います。ルーティングには、シーケンスごとの補助損失（auxiliary loss）に z-loss を用いるか、あるいは損失フリーの設定を使用できます。設定ファイルにはまた、デフォルトが AdamW である Muon オプティマイザーも公開されています。
使用例と具体例
拡張されたアクションスペースは、具体的なデプロイメントシナリオに対応しています。
キッチンにおけるモバイルマニピュレーション：Astribot S1 は、果物や飲み物を冷蔵庫に分類して収納します。これには、ベースの移動、ドアの開閉、そして物体の配置を同時に行う必要があります。
表面清掃：コボット Magic-ARX X5 がスポンジを使ってストーブ上の泡を拭き取ります。これは把持、拭き取り、工具の再配置という一連の動作を連鎖させます。
両手による梱包と仕分け：GM-100 のタスクには卵の梱包、工具の梱包、ブロックの仕分けが含まれます。
器用な手の制御：Unitree G1、Fourier GR-2、AgiBot A2 はグリッパーではなく、12 自由度（DoF）の手を使用します。
インタラクティブ・ダイナミック・エクスプレインラー
(function(){
var f=document.getElementById('lbv2-frame');
window.addEventListener('message',function(e){
if(e&&e.data&&e.data.type==='lbv2-resize'&&typeof e.data.height==='number'){
f.style.height=Math.max(300,e.data.height)+'px';
}
});
})();
主要なポイント
LingBot-VLA 2.0 は約 6 万時間のデータで事前学習されています。これは 20 の構成にわたるロボット軌跡 5 万時間と、主観視点（egocentric）の人間動画 1 万時間を合わせたものです。
単一の 55 次元の標準化された動作空間が、アーム、エンドエフェクター、グリッパー、器用な手、腰、頭部、そして移動ベースを統合しており、一つのモデルで全身制御をカバーします。
アクションエキスパートは、トークンレベルでの補助損失なしの MoE（Mixture of Experts）を採用しており、アクティブパラメータが同等の場合でも、密結合モデルよりも低いトレーニングロスと検証時の動作誤差を実現しています。
デュアルクエリ蒸留により、LingBot-Depth（幾何学情報）と DINO-Video（時間的ダイナミクス）によって監督された現在のクエリと将来のクエリが追加され、未来を認識した操作が可能になります。
GM-100 の一般化設定では、AgileX Cobot Magic で 66.2/34.4、Galaxea R1Pro で 34.6/15.6 を達成し、π0.5 や LingBot-VLA-1.0 を上回っています。また、長期的なホライズンのモバイルタスク（ドメイン内および OOD）においても π0.5 を両方で上回る結果となりました。
論文とモデルの重みをチェックしてください。また、Twitter でフォローすることもお気軽にどうぞ。忘れずに 15 万人以上の ML サブレッドに参加し、ニュースレターも購読してください。待ってください！Telegram を使っていますか？今なら Telegram でも私たちに参加できます。
GitHub リポジトリや Hugging Face ページ、製品リリース、ウェビナーなどのプロモーションでパートナーシップを結ぶ必要がある場合は、ご連絡ください。
注：本記事のリーダーシップとリソースを提供いただいた Ant Research チームに感謝いたします。Ant Research チームは、このコンテンツ/記事のプロモーションをサポートしました。
この記事「Robbyant がクロスエンボディメントロボット操作のためのオープンソース 6B ビジョン・言語・アクション (VLA) モデル『LingBot-VLA 2.0』をリリース」は、MarkTechPost で最初に公開されました。
原文を表示
Ant Group’s Robbyant has released LingBot-VLA 2.0, a Vision-Language-Action (VLA) foundation model for robots. The release includes a technical report, an Apache-2.0 codebase, and a 6B checkpoint. The research team targets a well-known gap: VLA models often work in labs but stumble in deployment. LingBot-VLA 2.0 advances the prior version along three practical axes. These are generalization, an expanded action space, and predictive dynamics modeling.
What is LingBot-VLA 2.0?
LingBot-VLA 2.0 is a generalist robot policy built on a vision-language backbone. It converts camera images and a language instruction into robot actions. The public model is lingbot-vla-v2-6b, a 6B ‘native depth’ checkpoint. It uses Qwen3-VL-4B-Instruct as the VLM backbone. Two teacher models, LingBot-Depth and DINO-Video, supervise training through distillation.
One inference call takes about 130 ms on an NVIDIA GeForce RTX 4090D. That measurement uses 10 denoising steps. The action expert uses a Mixture-of-Experts (MoE) design for scaling.
Data pipeline: 60,000 hours across 20 configurations
Generalization starts with data. The research team curates roughly 60,000 hours of pre-training data. This covers 50,000 hours of robot trajectories and 10,000 hours of egocentric human videos. The robot data spans 20 robot configurations, from single-arm rigs to full humanoids. The raw pool is larger: about 90,000 robot hours and 20,000 egocentric hours. A redesigned pipeline filters noisy samples down to the high-quality set.
Filtering is explicit and measurable. The research team computes third-order jerk along with velocity and acceleration Z-scores per embodiment. Episodes with abnormal smoothness or over 95% static signals are dropped. Videos are checked against replayed states using each robot’s URDF. Annotators remove blur, occlusion, dropped frames, and multi-view misalignment. Egocentric clips pass a VLM filter, then egocentric SLAM and MANO hand-pose reconstruction.
Annotation is automated with a vision-language model. Qwen3.6-27B segments each video into temporally contiguous subtasks. Each subtask gets an atomic action from a closed vocabulary of 18 categories. That vocabulary holds 15 primitive actions plus transit, idle, and other. Across the corpus, move and transit dominate by frequency.
Unified action representation
Different robots expose different joints, so LingBot-VLA 2.0 unifies them. It uses a 55-dimensional canonical vector for both states and actions. The layout is fixed across every embodiment in the dataset.
ComponentDimensions
Arm joint position14
End-effector pose14
Gripper position2
Hand joint position12
Waist position4
Head position2
Mobility signal3
Reserved4
Each arm end-effector pose uses XYZ coordinates plus a rotation quaternion, giving 7 dimensions per arm. Robots that lack a body part simply pad the corresponding dimensions. This lets one model control arms, hands, grippers, waists, heads, and mobile bases.
MoE action expert
The action expert replaces its feed-forward network with sparse MoE layers. Each MoE layer keeps one shared expert along with several routed experts. Only the top-K routed experts activate per token, so active compute stays bounded. Each expert is a SwiGLU MLP with a smaller intermediate width.
Routing follows a sigmoid-based, auxiliary-loss-free strategy inspired by DeepSeek-V3. A per-expert bias corrects load imbalance without adding a load-balancing loss. Routing confidence still comes from the model’s original, unbiased affinity scores. Under matched active parameters, the MoE model reaches lower training loss than a dense baseline. It also reaches lower validation action error on GM-100 tasks.
Dual-query distillation for predictive dynamics
Real execution needs anticipation, not just reaction to the current frame. LingBot-VLA 2.0 appends two learnable queries to the visual and text tokens. Qt targets the current observation, and Qt+T targets a future observation. The horizon T equals the action chunk size.
Two teachers supervise these queries. LingBot-Depth supplies explicit geometric cues through depth prediction. DINO-Video supplies temporally grounded semantic priors. DINO-Video is built on the DINOv3 backbone with block-wise causal temporal attention and 3D-RoPE. It is trained on 5M video clips spanning internet, egocentric, and robotic data. On the LARYBench evaluation, DINO-Video leads on three of four metrics.
Benchmark results
Robbyant evaluates the model in a generalist setting on the GM-100 (Great March 100) bimanual benchmark. A single policy is jointly trained on nine tasks per embodiment. Results are reported as progress score / success rate.
PlatformGR00T N1.7π0.5LingBot-VLA-1.0LingBot-VLA-2.0
AgileX Cobot Magic36.3 / 17.859.1 / 32.258.2 / 30.066.2 / 34.4
Galaxea R1Pro16.4 / 5.627.4 / 8.932.7 / 15.634.6 / 15.6
On long-horizon mobile manipulation, the model is tested under two settings. In-domain (ID) uses the training distribution, while OOD perturbs pose and objects.
EmbodimentTaskSettingLingBot-VLA-2.0π0.5
Astribot S1Refrigerator sortingIn-domain77.1 / 60.065.3 / 46.7
Astribot S1Refrigerator sortingOOD37.0 / 13.330.3 / 6.7
Cobot Magic-ARX X5Stove cleaningIn-domain84.3 / 66.779.9 / 60.0
Cobot Magic-ARX X5Stove cleaningOOD67.5 / 40.062.5 / 33.3
Gains are largest on tasks needing accurate object grounding. On Agilex Retrieve keychain, success moves from 60.0 to 100.0 versus version 1.0. Some tasks still show a gap between progress and success. That gap points to failures at the final precise placement or release step.
Getting started
The repository ships install, download, and deployment scripts. The example below downloads the released weights.
Copy CodeCopiedUse a different Browser
Environment: Python 3.12, PyTorch 2.8.0, flash-attn 2.8.3
python3 scripts/download_hf_model.py --repo_id robbyant/lingbot-vla-v2-6b --local_dir lingbot-vla
Real-robot deployment runs the policy server with compiled inference.
Copy CodeCopiedUse a different Browser
export QWEN3VL_PATH=path_to_Qwen3-VL-4B-Instruct
python -m deploy.lingbot_vla_v2_policy \
--model_path path_to_posttraining_ckpt \
--use_compile \
--use_length 25 \
--port port
Post-training uses LeRobot v2.1 or v3.0 datasets. The provided example fine-tunes on RoboTwin 2.0 across 50 tasks. Routing can use sequence-wise auxiliary loss with z-loss, or a loss-free setup. The config also exposes the Muon optimizer, with AdamW as the default.
Use cases with examples
The expanded action space maps to concrete deployment scenarios.
Kitchen mobile manipulation: Astribot S1 sorts fruits and drinks into a refrigerator. This needs base movement, door opening, and object placement together.
Surface cleaning: Cobot Magic-ARX X5 wipes foam off a stove with a sponge. This chains grasping, wiping, and tool repositioning.
Bimanual packing and sorting: GM-100 tasks include egg packing, tool packing, and block sorting.
Dexterous-hand control: Unitree G1, Fourier GR-2, and AgiBot A2 use 12-DoF hands, not grippers.
Interactive Dynamic Explainer
(function(){
var f=document.getElementById('lbv2-frame');
window.addEventListener('message',function(e){
if(e&&e.data&&e.data.type==='lbv2-resize'&&typeof e.data.height==='number'){
f.style.height=Math.max(300,e.data.height)+'px';
}
});
})();
Key Takeaways
LingBot-VLA 2.0 is pretrained on ~60,000 hours of data — 50,000 hours of robot trajectories across 20 configurations plus 10,000 hours of egocentric human video.
A single 55-dimensional canonical action space unifies arms, end-effectors, grippers, dexterous hands, waists, heads, and mobile bases, so one model covers whole-body control.
The action expert uses a token-level auxiliary-loss-free MoE, which reaches lower training loss and validation action error than a dense model at matched active parameters.
Dual-query distillation adds current/future queries supervised by LingBot-Depth (geometry) and DINO-Video (temporal dynamics) for future-aware manipulation.
On the GM-100 generalist setting it scores 66.2/34.4 on AgileX Cobot Magic and 34.6/15.6 on Galaxea R1Pro, ahead of π0.5 and LingBot-VLA-1.0, and it beats π0.5 on both long-horizon mobile tasks in-domain and OOD.
Check out the Paper and Model Weights. Also, feel free to follow us on Twitter and don’t forget to join our 150k+ML SubReddit and Subscribe to our Newsletter. Wait! are you on telegram? now you can join us on telegram as well.
Need to partner with us for promoting your GitHub Repo OR Hugging Face Page OR Product Release OR Webinar etc.? Connect with us
Note:Thanks to the Ant Research team for the thought leadership/ Resources for this article. Ant Research team has supported this content/article for promotion.
The post Robbyant Releases LingBot-VLA 2.0: An Open-Source 6B Vision-Language-Action (VLA) Model for Cross-Embodiment Robot Manipulation appeared first on MarkTechPost.
関連記事
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み