NVIDIA、オンデバイス物理AIモデル「Cosmos 3 Edge」発表
NVIDIA は、オンデバイスでのリアルタイム推論とロボット動作生成を可能にする 40 億パラメータの「Cosmos 3 Edge」モデルを発表し、エッジコンピューティングにおける世界モデルの実用化に新たな段階をもたらした。
キーポイント
オンデバイス実行とサイズ最適化
メモリ制約のあるシステム向けに設計され、Cosmos 3 シリーズ中最小の 40 億パラメータ（Super モデルの約 1/16）で、データセンター並みの性能をエッジで実現する。
二重トランスフォーマーアーキテクチャ
理解と推論を行う自己回帰型タワーと、予測・生成を行う拡散型タワーの 2 つの構成を持ち、マルチモーダルアテンション層を共有することで言語、映像、音声、動作間の整合性を高める。
世界モデルによる因果推論
物体認識だけでなく、環境の変化や動作の結果を予測・シミュレートし、現在の状態から未来を推測して最適なロボット動作を生成する能力を持つ。
統一された動作表現
Cosmos 3 Edge は、車両やカメラ、ロボットアームなど異なる物理システムにおける多様な動作を、変位・回転・把持状態を捉えるコンパクトな幾何ベクトルとして共通化し、視覚構造と制御を直接結びつけます。
双方向のポリシー機能
現在の状態から動作とその視覚的帰結を予測するだけでなく、逆に関節から動作を推論することも可能であり、DROID データセットでポストトレーニングされた「Cosmos 3 Edge Policy (DROID)」も公開されています。
エッジデバイスでの実用性
NVIDIA Jetson や RTX GPU など幅広いエッジ機器で動作可能であり、Jetson Thor では 15Hz のリアルタイム制御を実現し、特定のエンボディメントやセンサーセットへのポストトレーニングは約 1 日で完了します。
Mixture-of-Transformers アーキテクチャ
自己回帰推論塔と拡散生成塔を共有マルチモーダルアテンションで結合した設計により、オンデバイスでの推論と動作生成を両立しています。
重要な引用
Machines operate at the edge in factories, warehouses, and hospitals. They need data center–level performance on memory-constrained systems.
A world model learns how an environment changes over time. It represents objects, motion, spatial relationships, and the effects of actions.
The two towers keep separate normalization layers and multilayer perceptrons. They share multimodal attention layers, which align information across language, video, audio, and action.
Cosmos 3 maps these embodiments into a common action representation. Actions are encoded as compact geometric vectors that capture translation, rotation, and manipulation state.
Action flows in both directions. The model can predict the effect of an action, or infer the action from its effect.
A Mixture-of-Transformers design pairs an autoregressive reasoner tower with a diffusion generator tower through shared multimodal attention.
影響分析・編集コメントを表示
影響分析
この発表は、AI のエッジコンピューティングにおける重要な転換点であり、クラウド依存からオンデバイス推論への移行を加速させる可能性があります。特に、リアルタイム性が求められるロボティクス分野において、低遅延かつ高信頼性の意思決定が可能になることで、産業用ロボットや自律型システムの普及に大きく寄与すると考えられます。
編集コメント
Cosmos 3 Edge の発表は、AI モデルのサイズと性能のバランスをエッジ環境で再定義する画期的な一歩です。特に、複雑な推論と生成を単一のモデルで統合し、オンデバイスで実行可能にした点は、実社会でのロボット応用におけるボトルネック解消に直結する重要な技術的進展と言えます。
NVIDIA は、デバイス上で動作するように設計された 40 億パラメータのオープンワールドモデル「Cosmos 3 Edge」をリリースしました。このモデルは、ロボットやビジョン AI エージェントが周囲を理解し、リアルタイムで推論を行い、ローカルでロボットの行動を生成するのを支援します。
Cosmos 3 シリーズには、2026 年 5 月 31 日の GTC Taipei で発表された Cosmos 3 Nano（16B）と Cosmos 3 Super（64B）が含まれています。Edge はその中で最も小さく、Super の約 1/16 のサイズです。
このモデルが解決する課題は明確です。工場や倉庫、病院などでは機械がエッジで動作します。しかし、メモリ制約の厳しいシステムでもデータセンター並みの性能が必要です。Cosmos 3 Edge はまさにそのギャップを埋めるために開発されました。
(function(){
var f=document.getElementById("mtp-cosmos3edge-showcase");
window.addEventListener("message",function(e){
if(e&&e.data&&e.data.c3e==="height"&&e.data.height){ f.style.height=(e.data.height)+"px"; }
});
})();
世界モデルはここで何をするのか
世界モデルは、環境が時間とともにどのように変化するかを学習します。これは物体や運動、空間的な関係性、そして行動の結果を表すものです。
例えば、ロボットが物体に手を伸ばす場面を考えてみましょう。物体の認識は最初のステップに過ぎません。ロボットはさらに、物体の位置を追跡し、グリッパーがどう動くか、接触時に何が起きるかを把握する必要があります。世界モデルはこの関係性について推論を行います。行動による視覚的な結果を予測したり、変化を引き起こした行動を推測したり、目標達成のための行動を生成したりできるのです。
Cosmos 3 Edge は、これらの機能を単一のオンデバイスモデルに統合しました。共有表現により、システムは現在の世界状態を理解し、可能な未来をシミュレーションし、それらを行動へと結びつけることが可能になります。
2 つのトランスフォーマータワーと 1 つの共有表現
Cosmos 3 は、NVIDIA の技術レポートで説明されている通り、Mixture-of-Transformers アーキテクチャを採用しています。これは 2 つのタワーから構成されています。
自己回帰型（autoregressive）のタワーは、理解と推論のためにビジョントークンとテキストトークンを処理します。一方、拡散型（diffusion）のタワーは、予測、生成、ニューラルシミュレーションのためにビジョン、オーディオ、アクショントークンを処理します。
2 つのタワーはそれぞれ独立した正規化層と多層パーセプトロン（MLP）を保持しています。しかし、言語、動画、音声、行動間の情報を整合させるマルチモーダルアテンション層は共有されています。これにより、モデルは出力を生成する前にシーンについて推論することが可能になります。
アテンションパターンは各モダリティに合わせて適応します。言語では因果アテンション（causal attention）が使用され、各トークンは過去のトークンに注目します。拡散トークンは利用可能なコンテキストに対してより広範な注意を向けるため、一貫性のある予測と生成が可能になります。タスクに応じて、モデルは自己回帰型タワーから推論トークンを出力するか、拡散型タワーからノイズ除去された動画やアクショントークンを出力します。
Cosmos 3 Edge の推論エンジンには 2B パラメータの密なトランスフォーマー（dense transformer）が使用されており、画像および動画の入力については Cosmos GitHub リポジトリに従い、Qwen3-VL と互換性のあるメッセージ形式を採用しています。
(function(){
var f=document.getElementById("mtp-cosmos3edge-explainer");
window.addEventListener("message",function(e){
if(e&&e.data&&e.data.c3e==="height"&&e.data.height){
f.style.height=(e.data.height)+"px";
}
});
})();
異なる物理システムでは、行動の表現方法が異なります。車両は自己位置と動きを、カメラはカメラ自身の運動を、ロボットアームはエンドエフェクタの姿勢をそれぞれ記述します。さらにグリッパーの場合は把持状態も加わります。
Cosmos 3 はこうした多様な実装体を、共通の行動表現へとマッピングします。行動は移動、回転、操作状態といった情報を捉えたコンパクトな幾何ベクトルとして符号化されます。
これにより制御と世界の視覚構造が結びつきます。モデルはピクセルの変化を物理的な運動や制御入力に関連付けます。生成された動画は単なる予測を超え、行動に対する世界の反応をどう変化させるべきかを示すものとなります。
サポートされる行動次元は実装体によって異なります。Cosmos の GitHub リポジトリには、カメラ運動（9D）、自律走行車（9D）、自己中心運動（57D）、シングルアームロボット（10D）、デュアルアームロボット（20D）、ヒューマノイドロボット（29D）が記載されています。
ポリシーモードは双方向で動作します。ポリシーとして Cosmos 3 Edge は、行動とその予想される視覚的帰結を同時に予測します。現在の状態を入力すると、行動とそれがもたらす可能性の高い視覚的結果が出力されます。
アクションは双方向に流れます。モデルはアクションの結果を予測することも、結果からアクションを推測することも可能です。これにより、世界モデルが直接ロボットのポリシー学習と評価につながります。
NVIDIA はまた、Cosmos 3 Edge Policy（DROID）も公開しました。これはピッキング＆プレースタスク向けに DROID データセットでポストトレーニングされたロボット操作ポリシーで、トレーニングスクリプトも含まれています。開発者は、展開前に小規模な H100 クラスターや NVIDIA DGX Station でファインチューニングを行うことができます。
実用性はどうか
Cosmos 3 Edge は、NVIDIA のエッジコンピューティング機器全体でメモリ効率の高い推論を実現します。対象となるハードウェアは、NVIDIA RTX PRO GPU、NVIDIA DGX、GeForce RTX GPU、そして新たに発表された Jetson T2000 および T3000 モジュールを含む NVIDIA Jetson シリーズです。
ポストトレーニング済みの世界アクションモデル（WAM）として、このモデルは 640×360 の解像度でロボット制御に対応します。NVIDIA Jetson Thor では、1 回の推論で 32 アクションを生成しながら、15 Hz のリアルタイム制御も達成しています。生成タスクにおいては、Edge タイプが 256p と 480p の解像度、12〜30 fps、そして 50〜150 フレームのサポートを提供します。
オープンな Cosmos フレームワークを使用すれば、開発者は特定のロボット形態やセンサーセットに合わせて Cosmos 3 Edge を約 1 日でポストトレーニングできます。NVIDIA は、プロトタイピングのためのローカル環境として GeForce RTX 3070 以上を推奨しています。
(function(){var f=document.getElementById("mtp-deploy-c3edge");
window.addEventListener("message",function(e){if(f&&e.source===f.contentWindow&&e.data&&e.data.__mtpH){f.style.height=e.data.__mtpH+"px";}});})();
キーポイント
NVIDIA は 7 月 20 日、Hugging Face で「Cosmos 3 Edge」を公開しました。これはオンデバイスで動作する 4B パラメータのオープンワールドモデル（そのうち 2B が推論に特化した密な構造）です。
このアーキテクチャは Mixture-of-Transformers を採用しており、自己回帰型の推論タワーと拡散生成タワーを、共有されたマルチモーダルアテンションによって結合しています。
性能面では、640×360 の制御解像度を実現し、1 回の推論で最大 32 アクションを処理可能。NVIDIA Jetson Thor 上では 15Hz のリアルタイム制御が動作します。
生成されるアクションは、カメラ、車両、単腕ロボット、二腕ロボット、ヒューマノイドなど多様なエンボディメントに対応する、共通の並進・回転・操作表現にマッピングされています。
ベンチマーク結果（4B モデルで VANTAGE-Bench 1 位）は内部評価によるものですが、本モデルは Linux Foundation の OpenMDW-1.1 ライセンスの下で提供されます。
参考情報源：Hugging Face 公開記事、Cosmos3-Edge モデルカード、Cosmos 3 コレクション、NVIDIA 技術レポート（PDF）、Cosmos GitHub、NVIDIA デベロッパーブログ、Jetson Thor ブログ、および NVIDIA ニュースルーム（日本連合）。
本記事は元々 MarkTechPost に掲載された「NVIDIA Releases Cosmos 3 Edge: A 4B-Parameter Open World Model That Reasons and Generates Robot Actions OnDevice」の続編です。
原文を表示
NVIDIA has released Cosmos 3 Edge, a 4-billion-parameter open world model built to run on-device. It helps robots and vision AI agents understand surroundings, reason in real time, and generate robot actions locally.
The Cosmos 3 family included Cosmos 3 Nano (16B) and Cosmos 3 Super (64B) shipped on May 31, 2026 at GTC Taipei. Edge is the third and smallest tier, at roughly one-sixteenth the size of Super.
The problem is specific. Machines operate at the edge in factories, warehouses, and hospitals. They need data center–level performance on memory-constrained systems. Cosmos 3 Edge targets that gap.
(function(){
var f=document.getElementById("mtp-cosmos3edge-showcase");
window.addEventListener("message",function(e){
if(e&&e.data&&e.data.c3e==="height"&&e.data.height){ f.style.height=(e.data.height)+"px"; }
});
})();
What does world model do here
A world model learns how an environment changes over time. It represents objects, motion, spatial relationships, and the effects of actions.
Consider a robot reaching for an object. Recognizing the object is only the first step. The robot must also track where the object is, how its gripper moves, and what happens on contact. A world model reasons about these relationships. It can predict the visual result of an action, infer the action that caused a change, or generate an action to reach a goal.
Cosmos 3 Edge brings these capabilities into one on-device model. Its shared representation lets a system understand the current world state, simulate possible futures, and connect those futures to actions.
Two transformer towers, one shared representation
Cosmos 3 uses a Mixture-of-Transformers architecture with two towers, described in the NVIDIA’s technical report.
The autoregressive tower processes vision and text tokens for understanding and reasoning. The diffusion tower processes vision, audio, and action tokens for prediction, generation, and neural simulation.
The two towers keep separate normalization layers and multilayer perceptrons. They share multimodal attention layers, which align information across language, video, audio, and action. This lets the model reason about a scene before it generates an output.
The attention pattern adapts to each modality. Language uses causal attention, where each token attends to earlier tokens. Diffusion tokens attend more broadly to the available context, supporting coherent prediction and generation. Depending on the task, the model emits reasoning tokens from the autoregressive tower, or denoised video and action tokens from the diffusion tower.
Cosmos 3 Edge uses a 2B dense transformer for its reasoner, and follows Qwen3-VL-compatible message conventions for image and video inputs, per the Cosmos GitHub repository.
(function(){
var f=document.getElementById("mtp-cosmos3edge-explainer");
window.addEventListener("message",function(e){
if(e&&e.data&&e.data.c3e==="height"&&e.data.height){
f.style.height=(e.data.height)+"px";
}
});
})();
One action representation across embodiments
Physical systems describe actions differently. A vehicle uses ego pose and movement. A camera uses camera motion. A robot arm uses the pose of its end effector, and a gripper adds grasp state.
Cosmos 3 maps these embodiments into a common action representation. Actions are encoded as compact geometric vectors that capture translation, rotation, and manipulation state.
This connects control to the visual structure of the world. The model associates pixel changes with physical motion and control inputs. Generated video then becomes more than a prediction. It represents how the world should change in response to an action.
Supported action dimensions depend on the embodiment. The Cosmos GitHub repository lists camera motion (9D), autonomous vehicle (9D), egocentric motion (57D), single-arm robot (10D), dual-arm robot (20D), and humanoid robot (29D).
Policy mode runs in both directions
As a policy, Cosmos 3 Edge predicts an action together with its expected visual consequence. Current state goes in; an action and its likely visual outcome come out.
Action flows in both directions. The model can predict the effect of an action, or infer the action from its effect. This connects world modeling directly to robot policy training and evaluation.
NVIDIA also released Cosmos 3 Edge Policy (DROID). It is a robot manipulation policy post-trained on the DROID dataset for pick-and-place tasks, with post-training scripts included. Developers can fine-tune on a small H100 cluster or an NVIDIA DGX Station before deployment.
Is it Deployable
Cosmos 3 Edge delivers memory-efficient inference across NVIDIA edge computers. Targets include NVIDIA RTX PRO GPUs, NVIDIA DGX, GeForce RTX GPUs, and NVIDIA Jetson, including the newly announced Jetson T2000 and T3000 modules.
As a post-trained world action model (WAM), the model operates at robot-control resolution of 640×360 observations. On NVIDIA Jetson Thor it generates 32 actions per inference, while achieving real-time control at 15 Hz. For generation, the Edge tier supports 256p and 480p resolutions, 12–30 fps, and 50–150 frames.
Using the open Cosmos framework, developers can post-train Cosmos 3 Edge for a specific embodiment and sensor set in about a day. NVIDIA positions a GeForce RTX 3070 or better as a local on-ramp for prototyping.
(function(){var f=document.getElementById("mtp-deploy-c3edge");
window.addEventListener("message",function(e){if(f&&e.source===f.contentWindow&&e.data&&e.data.__mtpH){f.style.height=e.data.__mtpH+"px";}});})();
Key Takeaways
Cosmos 3 Edge is a 4B open world model (2B dense reasoner) that runs on-device, released July 20 on Hugging Face.
A Mixture-of-Transformers design pairs an autoregressive reasoner tower with a diffusion generator tower through shared multimodal attention.
It hits 640×360 control resolution, 32 actions per inference, and 15 Hz real-time control on NVIDIA Jetson Thor.
Actions map to a common translation/rotation/manipulation representation, spanning camera, vehicle, single-arm, dual-arm, and humanoid embodiments.
Benchmarks (#1 on VANTAGE-Bench at 4B) are internally claimed; the model ships under Linux Foundation OpenMDW-1.1.
Sources: Hugging Face launch post, Cosmos3-Edge model card, Cosmos 3 collection, NVIDIA technical report (PDF), Cosmos GitHub, NVIDIA developer blog, Jetson Thor blog and NVIDIA Newsroom: Japan coalition
The post NVIDIA Releases Cosmos 3 Edge: A 4B-Parameter Open World Model That Reasons and Generates Robot Actions On-Device appeared first on MarkTechPost.
関連記事
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み