アントグループのロボットAI部門「ロビーアン」が、物理AI向けにネイティブ構築された因果関係型動画アクションモデル「リンボットVA 2.0」を発表
蚂蚁集团傘下のロボット研究ユニット「Robbyant」が、物理的 AI に特化した因果推論型動画アクションモデル「LingBot-VA 2.0」を発表し、汎用ロボットの操作能力を飛躍的に向上させる新たな基盤モデルの登場を示した。
キーポイント
ネイティブ因果学習によるアーキテクチャ革新
既存のデジタルコンテンツ生成向けモデルを微調整するのではなく、物理的実装（embodiment）のために最初から因果推論型 DiT（Diffusion Transformer）として事前学習された最初のエンボディード・ネイティブ基盤モデルである。
統合された潜在空間とセマンティックトークナイザー
世界状態とアクションを一つの潜在空間に統合し、視覚的再構成だけでなく物理構造や動作の遷移も学習可能な新しいトークナイザーを採用することで、ラベルなしウェブ動画から行動関連の監督信号を獲得する。
非対称スケーリングとスパース MoE の採用
動画専門モジュールに 128 個のエキスパートを持つスパース MoE（Mixture-of-Experts）を、アクション専門モジュールには密な FFN を用いる非対称設計とし、推論時の計算コストを抑えつつ性能を最大化する。
短視眼的監督の克服とマルチチャンク予測
教師あり学習における「次のチャンクのみ」への依存という短視眼的な問題を解消するため、マルチチャンク予測（MCP）を導入し、モデルが外観のコピーではなく物理的な因果関係を学習するよう促す。
Multi-chunk Prediction (MCP)による学習効率の向上
単なる次のチャンク予測ではなく、3 つ先のチャンクを同時に予測する軽量モジュールを追加することで、視覚的模倣を防ぎ、45k ステップ相当の精度を 20k ステップで達成し、学習速度を 2.3 倍に加速しました。
非同期実行とフォアサイト推論によるリアルタイム制御
ロボットが現在のアクションを実行している間に、動画エキスパートが未来の状態を予測し、行動エキスパートが次のアクションをデコードする非同期ストリームを採用することで、モデルの遅延が制御遅延に直結するボトルネックを解消しました。
多目的同時トレーニングと階層型プランニング
T2I, T2V などの 5 つの異なる目標を段階的ではなく同時に訓練し、忘却を防ぎつつ、VLM プランナーが構造化された JSON を生成して長期ゴールを管理する階層構造を実現しています。
重要な引用
The first embodied-native foundation model.
Pixel-reconstruction latents preserve appearance but carry limited physical structure.
Backbones use bidirectional attention, while control unfolds strictly forward in time.
World states and actions now share one latent space.
MCP attaches three lightweight modules predicting the next three chunks. In ablation it matched the baseline's 45k-step accuracy in 20k steps, a 2.3x training speedup.
While the robot executes chunk a_t, the video expert imagines its outcome. The action expert decodes a_{t+1} from that.
影響分析・編集コメントを表示
影響分析
この発表は、ロボット工学における「動画生成モデル」から「物理的因果を学習する制御モデル」へのパラダイムシフトを示す重要なマイルストーンです。既存のアプローチが抱えていた遅延や物理構造の欠如という課題を解決し、汎用ロボットの自律的な操作能力を現実的な速度で実現する道筋を開くことで、産業用ロボットやサービスロボットの普及加速に寄与すると予想されます。
編集コメント
単なる動画生成の延長ではなく、物理法則を内包した「因果モデル」として再設計された点は、実用ロボット開発における決定的な転換点となり得ます。特にラベルなしデータからの学習能力と推論速度の両立は、次世代ロボットの自律化に向けた重要な技術的突破です。
Ant Group に所属する実体化 AI ユニットである Robbyant は、LingBot-VA 2.0 を発表しました。これは、最初のエンボディメント・ネイティブ（物理的実装に最適化された）ファウンデーションモデルです。このモデルは、汎用的なロボット操作のためのビデオアクションファウンデーションモデルを記述するものであり、研究チームは動画生成器を微調整するのではなく、エンボディメントのためにスタック全体を事前学習しています。
LingBot-VA 2.0 とは何か？
現在のほとんどのビデオアクションモデルは、デジタルコンテンツ制作向けに構築された 2 つのコンポーネントを再利用しています。1 つは再構成指向の VAE（変分オートエンコーダー）です。もう 1 つは、アクションモジュールが接続された双方向型動画拡散バックボーンです。
これにより 3 つの制限が生じます。ピクセル再構成潜在表現は外観を保持しますが、物理構造に関する情報は限定的です。動画トークンに対する反復的なノイズ除去は、クローズドループ制御には遅すぎます。一般的な動画目的関数は、アクションが世界をどのように変化させるかを教えることはありません。
4 つ目の不整合は構造的なものです。バックボーンは双方向アテンションを使用していますが、制御は時間的に厳密に前方展開されます。LingBot VA Version 1.0 はこのスタックを因果モデルへと微調整しました。Version 2.0 では、因果性をネイティブに備えた DiT（Diffusion Transformer）を事前学習しています。
imagehttps://github.com/Robbyant/lingbot-va/blob/main/LingBot_VA2_paper.pdf
Version 1: セマンティック・ビジュアルアクショントークナイザー
この動機に基づき、第 1 ステージでは圧縮専用の VAE を置き換えます。RepWAM に従い、トークナイザーは再構成に 2 つの目的関数を追加します。
セマンティックアライメントは、視覚的潜在変数を凍結された知覚エンコーダ教師へと引き寄せます。潜在行動目的関数は、連続する潜在変数の間にコンパクトな遷移変数を抽出します。逆ダイナミクスモデルは各潜在行動を予測し、順ダイナミクスモデルはそれを輸送マップと残差へデコードします。
世界状態と行動は現在、一つの潜在空間を共有しています。したがって、ラベルなしのウェブ動画にも行動関連の教師信号が含まれています。
バージョン 2: 物理 AI 向けにネイティブに構築された因果 DiT を備えたスパース MoE ビデオストリーム
この空間の上に、バージョン 2 は因果 DiT（DiT: Diffusion Transformer）を事前学習します。これはバージョン 1.0 の Mixture-of-Transformers（MoE: 混合トランスフォーマー）レイアウトを維持しています。ビデオエキスパートと行動エキスパートは一つの因果自己アテンションを共有し、それぞれが独立したフィードフォワードパスを持ちます。
この二つのストリームは非対称的にスケールします。ビデオエキスパートは、密な FFN（FFN: フィードフォワードネットワーク）を、128 のルーティングされた SwiGLU エキスパートとトップ 8 ルーティング、および一つの共有エキスパートを持つスパース MoE ルート層に置き換えます。負荷分散には、補助損失フリーの Loss-Free Balancing（Loss-Free Balancing: 損失なしバランス戦略）戦略が採用されます。一方、行動エキスパートは隠れ次元 768 の密な FFN を維持します。
ビデオバックボーンは約 130 億パラメータで、アクティブなのは約 19 億です。行動エキスパートと MCP ヘッド（MCP: Multi-Condition Prediction）を含めると、トレーニング対象のパラメータ数は約 153 億になります。推論時にはトークンあたり約 25 億がアクティブ化されます。トレーニングには、整流フロー目的関数とハイブリッド Muon plus AdamW オプティマイザが使用されます。
教師信号の源泉について
アーキテクチャに加え、二つの目的関数がモデルが学習する内容を形作ります。
マルチチャンク予測（MCP）は、近視眼的な教師信号の課題を解決します。従来の教師強制学習では次のチャンクのみが教師信号となるため、モデルは外観をコピーするだけで損失を削減できてしまいます。一方、MCP は次の 3 つのチャンクを予測する 3 つの軽量モジュールを追加します。アブレーション実験では、この手法はベースラインの 45k ステップに相当する精度を 20k ステップで達成し、学習速度が 2.3 倍向上しました。
一方、T2I（テキストから画像へ）、T2V（テキストから動画へ）、TI2VA（テキスト・画像からビデオアクションへ）、ICL（インコンテキスト学習）、および人間とロボットの共同訓練という 5 つの目的関数は、段階的ではなく並列的に共学習されます。サンプリングは、外観の grounding から動画アクション制御へと至る粗粒度から細粒度へのスケジュールに従って行われます。すべての目的関数を維持することで、以前の事前知識を忘却することなく学習を継続できます。
階層的プランニング
チャンクレベルの制御では、長期にわたる目標のシーケンス化は不可能です。そのため、ポリシーの上に VLM（ビジョンランゲージモデル）プランナーが配置され、固定されたビジョントワーと組み合わせて LoRA 微調整が行われます。このプランナーは構造化された JSON を出力します：done, instruction, generation_instruction, local_scene_description。これは非同期の共有バッファを介して約 2Hz で動作し、ポリシーは各チャンク境界でこれを読み取ります。そのため、プランナーの遅延が実行をブロックすることはありません。
先見性推論
スパースなバックボーンであっても、展開時には直列的なボトルネックに直面します。ロボットが待機すると、モデルの遅延がそのまま制御の遅延となってしまいます。
そこで、先見性推論では予測と実行を非同期ストリームとして並行して実行します。ロボットがチャンク a_t を実行している間、ビデオエキスパートはその結果を想像し、アクションエキスパートはそれに基づいて a_{t+1} をデコードします。
先行しすぎるとドリフトのリスクがある。そのため、戻ってくる観測は真の潜在変数 z_{t+1} に符号化され、想像された値を上書きする。この役割のために、前方ダイナミクス・グラウンディング損失がビデオ専門モデルを訓練する。
コードをコピーコピー済み別のブラウザを使用してください
非同期ロールアウトのための擬似コード（セクション 2.3.7、式 29）。
実行不可：policy、executor、encode() はプレースホルダーです。
C = init_kv_cache(encode(obs_0)) # フィードバック・グラウンディングキャッシュ C_t
a = policy.action_expert(C) # コールドスタート：最初のアクションチャンク a_0
while not done:
executor.start(a) # 実行ストリーム、非ブロッキング
C_tmp = C + [a] # 予測ストリーム：C_t u {a_t}
z_hat = policy.video_expert(C_tmp) # 前方ダイナミクス -> 想像された z_{t+1}
a_next = policy.action_expert(C_tmp + [z_hat])
obs = executor.wait() # a_t の実際の観測が返ってくる
C = overwrite(C_tmp, z_hat, encode(obs)) # 再グラウンディング：z_hat <- 真の z_{t+1}
a = a_next
パフォーマンス
したがって、評価はシミュレーションと実機ハードウェアの両方をカバーする。RoboTwin 2.0 では、すべてのモデルが 50 のタスクにわたって、2,500 のクリーンなデモと 25,000 のランダム化されたデモで訓練される。
imagehttps://technology.robbyant.com/lingbot-va-v2
手法 クリーン ランダム化 平均
X-VLA 72.9 72.8 72.9
π0.5 82.7 76.8 79.8
Motus 88.7 87.0 87.9
LingBot-VA 92.9 91.6 92.2
LingBot-VA 2.0 93.8 93.4 93.6
加速技術
推論時間（ミリ秒/チャンク）
非同期 Hz
BF16 PyTorch 非同期ロールアウトベースライン 927 35
+ 一貫性蒸留 466 69
+ 低精度コンパイル実行 369 87
+ 長期ホライズンアテンション最適化 272 118
+ ランタイムオーバーヘッド削減 142 225
蒸留により、ビデオサンプラーを 5 ステップから 2 ステップに、アクションサンプラーを 10 ステップから 2 ステップに短縮します。残りの性能向上は、FP8 TensorRT エンジン、FlashInfer アテンションを備えたページ化/ラゲッド KV キャッシュ、およびホスト側のオーバーヘッド除去によって実現されます。
Copy Code Copied Use a different Browser
レポートの Table 3 を正確に再現。そのまま実行可能。
K = 32 # 生成されたチャンク内の低レベル制御ステップ数
stack = [("BF16 PyTorch async rollout baseline", 927),
("+ Consistency distillation", 466),
("+ Low-precision compiled execution", 369),
("+ Long-horizon attention optimization", 272),
("+ Runtime overhead reduction", 142)]
for name, ms in stack:
print(f"{name:40s} {ms:4d} ms {round(1000 / ms * K):4d} Hz")
print("end-to-end speedup:", round(927 / 142, 1), "x")
バージョン 1.0 vs バージョン 2.0
次元 LingBot-VA LingBot-VA 2.0
トークナイザー Wan2.2 VAE（再構築） セマンティック視覚アクショントークナイザー、96 ラテンチャネル
バックボーン由来 双方向ジェネレーターからファインチューニング 最初から事前学習された因果 DiT
ビデオ FFND Dense Sparse MoE、128 エキスパート、top-8
追加監督信号 未使用 MCP、コンテキスト内学習、人間 - ロボット共同トレーニング
推論非同期実行、KV キャッシュ、観測再 grounded な先見性推論
ピーク非同期制御はバージョン 2.0 のレポートには報告されていない。225 Hz。
トークナイザーの消融実験では行 1 が孤立している。WAN2.2 VAE をセマンティック トークナイザーに置き換えることで、1.3B モデルのパフォーマンスが 78.0 から 86.6 に向上した。
ユースケースと事例
ベンチマークを超えて、4 つの展開形態が際立っている。
Few-shot オンボーディング：レポートによると、このモデルは 10 から 15 のデモから適応可能である。実世界評価では、タスクごとに 20 のテレオペレーション デモを使用する。1 つのマルチタスク チェックポイントが、評価されたすべての 4 つのタスクをカバーしている。
デモンストレーション条件付き制御：コンテキスト内学習により、人間のデモ動画がテキスト指示に代わる役割を果たす。4 つの既知のタスクでファインチューニングした後、ポリシーは未見の組み合わせを実行した。一例として、「かぼちゃを緑色の皿に入れる」という指示がある。
安価なデータのスケーリング：人間とロボットの共同トレーニングにより、手のポーズをロボット動作空間に再ターゲットする。各手は仮想並列グリッパーとなる。自己中心視点のコーパスは 65.4k エピソードにわたる。
反応制御：デモにはエアホッケーやコンベアベルトが含まれており、ポリシーは移動する物体を予測する。
主要なポイント
ビデオジェネレーターを適応させるのではなく、因果関係を持つビデオアクション DiT をゼロから事前学習する。
セマンティック トークナイザーにより、世界状態と潜在動作が 1 つの整合された空間に配置される。
スパース MoE ビデオストリーム：約 15.3B のパラメータのうち、トークンごとに約 2.5B が活性化される。
先見性推論は予測と実行を重畳させ、すべての実観測に基づいて再 grounded される。
チャンクレイテンシは 927 ミリ秒から 142 ミリ秒に、非同期制御は 35 ヘルツから 225 ヘルツに向上しました。
インタラクティブ・ダイナミック・エクスプレーナー
(function(){
window.addEventListener('message', function(e){
if(e.data && e.data.lbva2Height){
var f = document.getElementById('lbva2-frame');
if(f) f.style.height = e.data.lbva2Height + 'px';
}
});
})();
論文とプロジェクトページをご覧ください。また、Twitter でフォローしていただくこともお気軽にどうぞ。忘れずに 150,000 人以上の ML サブレッドに参加し、ニュースレターも購読してください。待ってください！Telegram をご利用ですか？今なら Telegram でも私たちに参加できます。
GitHub リポジトリや Hugging Face ページ、製品リリース、ウェビナーなどのプロモーションでパートナーシップを結ぶ必要がある場合は、こちらまでご連絡ください。
注記：本記事の先駆的なリーダーシップとリソースを提供してくれた Ant Research チームに感謝します。Ant Research チームは、このコンテンツ/記事のプロモーションをサポートしました。
本記事「Ant Group の Robbyant が LingBot-VA 2.0 を発表：物理 AI 向けにネイティブに構築された因果動画アクションモデル」は、MarkTechPost で最初に公開されました。
原文を表示
Robbyant, the embodied AI unit inside Ant Group, has released the LingBot-VA 2.0.The first embodied-native foundation model. It describes a video-action foundation model for generalist robot manipulation. The research team pretrains the whole stack for embodiment instead of fine-tuning a video generator.
What is LingBot-VA 2.0?
Most video-action models reuse two components built for digital content creation. One is a reconstruction-oriented VAE. The other is a bidirectional video-diffusion backbone, with an action module attached.
This creates three limitations. Pixel-reconstruction latents preserve appearance but carry limited physical structure. Iterative denoising over video tokens is too slow for closed-loop control. Generic video objectives never teach how actions reshape the world.
A fourth mismatch is structural. Backbones use bidirectional attention, while control unfolds strictly forward in time. LingBot VA Version 1.0 finetuned that stack into a causal model. Version 2.0 pretrains a causal DiT natively.
imagehttps://github.com/Robbyant/lingbot-va/blob/main/LingBot_VA2_paper.pdf
Version 1: The Semantic Visual-Action Tokenizer
Building on that motivation, stage one replaces the compression-only VAE. Following RepWAM, the tokenizer adds two objectives to reconstruction.
Semantic alignment pulls visual latents toward a frozen Perception Encoder teacher. A latent-action objective extracts compact transition variables between consecutive latents. An inverse dynamics model predicts each latent action. A forward dynamics model decodes it into a transport map plus residual.
World states and actions now share one latent space. Unlabeled web video therefore carries action-relevant supervision.
Version 2: A Causal DiT With a Sparse MoE Video Stream
On top of that space, version 2 pretrains a causal DiT. It keeps the Mixture-of-Transformers layout of version 1.0. A video expert and an action expert share one causal self-attention. Each owns a separate feed-forward pathway.
The two streams scale asymmetrically. The video expert replaces its dense FFN with a sparse MoE routed layer. That layer holds 128 routed SwiGLU experts, top-8 routing, one shared expert. Load balancing follows the auxiliary-loss-free Loss-Free Balancing strategy. The action expert keeps a dense FFN at hidden dimension 768.
The video backbone is roughly 13.0B parameters, about 1.9B active. With the action expert and MCP heads, training covers about 15.3B parameters. Roughly 2.5B activate per token at inference. Training uses a rectified-flow objective with a hybrid Muon plus AdamW optimizer.
Where the Training Signal Comes From
Beyond architecture, two objectives shape what the model learns.
Multi-chunk prediction (MCP) fixes myopic supervision. Teacher forcing supervises only the next chunk, so the model can cut loss by copying appearance. MCP attaches three lightweight modules predicting the next three chunks. In ablation it matched the baseline’s 45k-step accuracy in 20k steps, a 2.3x training speedup.
Meanwhile, five objectives are co-trained rather than staged: T2I, T2V, TI2VA, ICL, and human-robot co-training. Sampling follows a coarse-to-fine schedule, from appearance grounding to video-action control. Keeping every objective alive avoids forgetting the earlier priors.
Hierarchical Planning
Chunk-level control cannot sequence long-horizon goals. Above the policy therefore sits a VLM planner, LoRA-finetuned with a frozen vision tower. It emits structured JSON: done, instruction, generation_instruction, local_scene_description. It runs at about 2 Hz behind an asynchronous shared buffer. The policy reads it at each chunk boundary, so planner latency never blocks execution.
Foresight Reasoning
Even with a sparse backbone, deployment hits a serial bottleneck. If the robot waits, model latency becomes control latency.
Foresight Reasoning therefore runs prediction and execution as asynchronous streams. While the robot executes chunk a_t, the video expert imagines its outcome. The action expert decodes a_{t+1} from that.
Running ahead risks drift. So each returning observation is encoded into the true latent z_{t+1}, overwriting the imagined one. A forward-dynamics grounding loss trains the video expert for this role.
Copy CodeCopiedUse a different Browser
Pseudocode for the asynchronous rollout (Sec. 2.3.7, Eq. 29).
Not runnable: policy, executor and encode() are placeholders.
C = init_kv_cache(encode(obs_0)) # feedback-grounded cache C_t
a = policy.action_expert(C) # cold start: first action chunk a_0
while not done:
executor.start(a) # execution stream, non-blocking
C_tmp = C + [a] # prediction stream: C_t u {a_t}
z_hat = policy.video_expert(C_tmp) # forward dynamics -> imagined z_{t+1}
a_next = policy.action_expert(C_tmp + [z_hat])
obs = executor.wait() # real observation of a_t returns
C = overwrite(C_tmp, z_hat, encode(obs)) # re-ground: z_hat <- true z_{t+1}
a = a_next
Performance
Consequently, evaluation covers simulation and real hardware. On RoboTwin 2.0, every model trains on 2,500 clean plus 25,000 randomized demonstrations, across 50 tasks.
imagehttps://technology.robbyant.com/lingbot-va-v2
MethodCleanRandomizedAvg.
X-VLA72.972.872.9
π0.582.776.879.8
Motus88.787.087.9
LingBot-VA92.991.692.2
LingBot-VA 2.093.893.493.6
Acceleration techniqueInference time (ms/chunk)Async Hz
BF16 PyTorch async rollout baseline92735
+ Consistency distillation46669
+ Low-precision compiled execution36987
+ Long-horizon attention optimization272118
+ Runtime overhead reduction142225
Distillation cuts the video sampler from 5 steps to 2, and the action sampler from 10 to 2. FP8 TensorRT engines, a paged/ragged KV cache with FlashInfer attention, and host-side overhead removal supply the rest.
Copy CodeCopiedUse a different Browser
Reproduces Table 3 of the report exactly. Runnable as-is.
K = 32 # low-level control steps inside one generated chunk
stack = [("BF16 PyTorch async rollout baseline", 927),
("+ Consistency distillation", 466),
("+ Low-precision compiled execution", 369),
("+ Long-horizon attention optimization", 272),
("+ Runtime overhead reduction", 142)]
for name, ms in stack:
print(f"{name:40s} {ms:4d} ms {round(1000 / ms * K):4d} Hz")
print("end-to-end speedup:", round(927 / 142, 1), "x")
Version 1.0 vs Version 2.0
DimensionLingBot-VALingBot-VA 2.0
TokenizerWan2.2 VAE (reconstruction)Semantic visual-action tokenizer, 96 latent channels
Backbone originFinetuned from a bidirectional generatorCausal DiT pretrained from scratch
Video FFNDenseSparse MoE, 128 experts, top-8
Extra supervisionNot usedMCP, in-context learning, human-robot co-training
InferenceAsync execution, KV cacheForesight Reasoning with observation re-grounding
Peak async controlNot reported in the version 2.0 report225 Hz
The tokenizer ablation isolates row one. Swapping the WAN2.2 VAE for the semantic tokenizer lifts a 1.3B model from 78.0 to 86.6.
Use Cases and Examples
Beyond benchmarks, four deployment shapes stand out.
Few-shot onboarding: The report states the model adapts from 10 to 15 demonstrations. Real-world evaluation uses 20 teleoperated demos per task. One multi-task checkpoint covers all four evaluated tasks.
Demonstration-conditioned control: In-context learning lets a human demonstration video replace the text instruction. After finetuning on four seen tasks, the policy executed unseen compositions. One example: “put the calabash into the green plate.”
Cheap data scaling: Human-robot co-training retargets hand poses into the robot action space. Each hand becomes a virtual parallel gripper. The egocentric corpus spans 65.4k episodes.
Reactive control: Demonstrations include Air Hockey and a conveyor belt, where the policy anticipates moving objects.
Key Takeaways
Pretrains a causal video-action DiT from scratch instead of adapting a video generator.
A semantic tokenizer puts world states and latent actions in one aligned space.
Sparse MoE video stream: ~2.5B of ~15.3B parameters activate per token.
Foresight Reasoning overlaps prediction with execution, re-grounded on every real observation.
Chunk latency 927 ms to 142 ms; async control 35 Hz to 225 Hz.
Interactive Dynamic Explainer
(function(){
window.addEventListener('message', function(e){
if(e.data && e.data.lbva2Height){
var f = document.getElementById('lbva2-frame');
if(f) f.style.height = e.data.lbva2Height + 'px';
}
});
})();
Check out the Paper and Project Page. Also, feel free to follow us on Twitter and don’t forget to join our 150k+ML SubReddit and Subscribe to our Newsletter. Wait! are you on telegram? now you can join us on telegram as well.
Need to partner with us for promoting your GitHub Repo OR Hugging Face Page OR Product Release OR Webinar etc.? Connect with us
Note:Thanks to the Ant Research team for the thought leadership/ Resources for this article. Ant Research team has supported this content/article for promotion.
The post Ant Group’s Robbyant Unveils LingBot-VA 2.0: A Causal Video-Action Model Built Natively for Physical AI appeared first on MarkTechPost.
関連記事
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み