Hugging Face、エッジ向け動画生成モデル「Cosmos 3 Edge」発表
Hugging Face は、ローカル環境での高品質な動画生成を可能にする物理 AI 向け動画生成モデル「Cosmos 3 Edge」を発表した。
キーポイント
エッジデバイス対応の発表
Hugging Face が物理 AI 向けの動画生成モデル「Cosmos 3 Edge」をリリースし、ローカル環境での動作を実現した。
高品質なローカル生成の実現
クラウド依存を減らしつつも、エッジデバイス上で高品質な動画生成が可能になる技術的進歩を示している。
物理 AI への応用拡大
物理世界と連動する AI システムにおいて、リアルタイムかつ低遅延の動画生成基盤を提供し、応用範囲を広げる。
重要な引用
Hugging Face は、エッジデバイス上で動作する物理 AI 向け動画生成モデル「Cosmos 3 Edge」を発表した。
これにより、ローカル環境での高品質な動画生成が可能になる。
影響分析・編集コメントを表示
影響分析
この発表は、AI の推論と生成をクラウドからエッジデバイスへシフトさせる重要な転換点となる。特に物理 AI や自律型ロボットなど、低遅延が求められる分野において、ローカルでの高品質動画生成が可能になることで、実用性と応用範囲が大幅に拡大する。
編集コメント
ローカル環境での高品質動画生成が可能になることは、プライバシー保護や遅延耐性が求められる実世界応用において極めて重要です。物理 AI の発展を後押しする重要なステップと言えます。
- 世界モデルとは何か？
- 2 つのトランスフォーマータワーと共有表現
- 行動ポリシーモデルのための共通表現
- パフォーマンス向上のための事後学習サンプル
- Cosmos 3 Edge を試す
現実の世界は広大であり、物理的な AI システムがその中で動作するためには、シーンの変化を理解し、次に何が起きるかを予測し、行動が世界にどのような影響を与えるかを判断する必要があります。
機械は工場や倉庫、病院などエッジ環境で稼働しています。これらの環境を理解して行動するには、メモリ制約のあるシステムでもデータセンター並みのパフォーマンスを発揮できるモデルが必要です。
本日、NVIDIA Cosmos 3 Edge を Hugging Face の Cosmos 3 リポジトリにて公開しました。これは 40 億パラメータを持つオープンな世界モデルで、ロボットやビジョン AI エージェントが周囲を理解し、リアルタイムで推論を行い、エッジデバイス上でロボットの行動を生成することを支援します。
モデルのダウンロード: https://huggingface.co/nvidia/Cosmos3-Edge
このモデルは、NVIDIA RTX PRO GPU や NVIDIA DGX、NVIDIA GeForce RTX™ GPU、そして新たに発表された Jetson T2000 および T3000 モジュールを含む NVIDIA エッジコンピューター上で、メモリ効率が高くスループットの高い推論を実現します。
コンパクトなオープンモデルとして設計されており、リアルタイム推論において最高クラスの処理速度と精度を誇る小規模なビジョン言語モデル（VLM）としても機能します。
ポストトレーニングされた世界行動モデル（WAM）である Cosmos 3 Edge は、ロボット制御に最適な解像度（640×360 の観測データ）で動作します。NVIDIA Jetson Thor 上で推論ごとに 32 アクションを生成し、15 Hz のリアルタイム制御を実現しています。
同規模（パラメータ数 4B）のモデル群の中で、Cosmos 3 Edge はビジョン分析ベンチマーク「VANTAGE-Bench」で第 1 位を獲得。ロボットポリシー学習においては最先端の性能を誇り、スマートインフラやロボティクス分野における新たな基準を打ち立てています。
ワールドモデリングとは何か？
ワールドモデルは、環境が時間とともにどのように変化するかを学習します。ここでは物体、運動、空間的な関係性、そして行動が及ぼす影響を表現します。
ロボットが物体に手を伸ばす場面を考えてみましょう。物体の認識は最初のステップに過ぎません。重要なのは、物体がどこにあるか、グリップ（把持部）がどのように動いているか、接触時に何が起きるか、そしてタスクを成功させるためにどの行動をとるべきかを理解することです。
ワールドモデルは、ロボットがこれらの関係性を推論するのを助けます。行動の結果としてどのような視覚的変化が生じるかを予測したり、何らかの変化を引き起こした行動を逆算したり、特定の成果を得るための行動を生成したりできます。
Cosmos 3 Edge は、これらの機能を一つのモデルに統合し、オンデバイスで実行可能にしました。共有された表現により、物理 AI システムは現在の世界状態を理解し、ありうる未来をシミュレーションして、それらを具体的な行動へと結びつけることが可能になります。
トランスフォーマーの 2 つのタワーと、一つの共有表現
Cosmos 3 は、2 つのトランスフォーマータワーを組み合わせています。
- 自己回帰型タワー：理解と推論のために、ビジョンとテキストのトークンを処理します。
- 拡散型タワー：予測、生成、ニューラルシミュレーションのために、ビジョン、オーディオ、アクションのトークンを処理します。
2 つのタワーは、それぞれ独立した正規化層と多層パーセプトロンを保持しています。一方、言語、動画、音声、アクションにわたる情報の整合性を図るマルチモーダルアテンション層は共有されています。
この設計により、モデルは出力を生成する前にシーンについて推論することが可能になります。タスクに応じて、Cosmos 3 は自己回帰型タワーから推論トークンを生成するか、拡散型タワーからノイズ除去された動画とアクショントークンを生成します。
情報の種類に応じて、アテンションパターンも適応されます。言語処理では因果的アテンション（causal attention）が用いられ、各トークンはそれ以前に出現したトークンにのみ注目します。一方、拡散モデルのトークンは利用可能なコンテキスト全体をより広く参照し、一貫性のある予測と生成を実現します。
これらの要素を組み合わせることで、モデルは「現在何が起きているか」「次に何が起こりうるか」、そして「行動が結果にどう影響するか」を共通の表現として捉えることができます。
行動のための共通表現
物理システムでは、行動の記述方法が異なります。車両は自己位置（ego pose）と移動によって行動を表し、カメラはカメラ自体の運動で表現します。ロボットアームはそのエンドエフェクタの姿勢を用い、手やグリッパーの場合は把持状態も同時に表現する必要があります。
Cosmos 3 はこうした多様なエンボディメントを、共通の行動表現へとマッピングします。
行動は、以下の要素を捉えるコンパクトな幾何ベクトルとして符号化されます。
- 空間的な位置関係
- 物体の形状と向き
- 動作の時間的変化
- 物理的な相互作用
- トランスレーション（移動）
- ロテーション（回転）
- マニピュレーション状態
これにより、制御と世界の視覚構造の間に直接的な結びつきが生まれます。モデルは画素の変化を物理的な運動や空間関係、そして制御入力と関連付けることができます。
その結果、生成された動画は単なる視覚予測を超えたものになります。これは、ある行動に対して世界がどのように変化すると予想されるかを表すものとなるのです。これにより、開発者は運動、制御、因果関係に基づいたトレーニングデータを入手できます。
ポリシーモード
ポリシーとして Cosmos 3 は、行動とその予想される視覚的帰結をセットで予測します。
モデルはシステムが取るべき行動を生成し、次に何が起こりうるかをシミュレーションできます。これにより、世界モデリングとロボットのポリシー学習・評価が直接結びつきます。
現在の状態を入力とし、行動と視覚的帰結を出力する。
これらのモードによって、1 つのモデルで因果関係や効果、そしてポリシーを学習することが可能になります。行動はモデル内を双方向に流れるため、Cosmos 3 Edge は行動の結果を予測することも、結果から行動を推論することもできます。
*プロンプト：バナナを掴んでお皿に置く。*
また、ピッキング＆プレースタスク向けに DROID データセットでポストトレーニングされたロボットマニピュレーションポリシー「Cosmos 3 Edge Policy (DROID)」も公開します。同様に、ポストトレーニング用のスクリプトも併せてリリースしています。
開発者は、H100 または NVIDIA DGX Station の小規模クラスタを使用して、NVIDIA エッジおよびアクセラレーテッドコンピューティングプラットフォームへの展開前に、ターゲットワークロード向けに Cosmos 3 Edge を効率的にファインチューニングできます。
パフォーマンス向上のためのポストトレーニングサンプル
ベースモデルに加え、開発者が自身のアプリケーションに合わせて Cosmos 3 を適応・最適化できるよう、参照用のポストトレーニング済みチェックポイントとトレーニングレシピも公開しています。
Cosmos 3 はオープンワールドの基盤モデルプラットフォームです。高品質でドメイン固有のデータを用いてポストトレーニングを行うことで、専門的な用途における精度はさらに向上します。Cosmos は、オープンフレームワークを活用してドメイン適応型の世界モデルを構築するための出発点となります。
ポストトレーニングにより、開発者は出力品質を維持したままモデルのパフォーマンスを向上させることが可能です。このワークフローの実例として、64B モデル向けのより高速な参照実装を提供する「Cosmos 3 Super 4-Step Distillation」のチェックポイントと、ポストトレーニング用スクリプトも併せて公開しています。これにより、開発者は Cosmos を自らのドメインに適応させ、下流タスクでのパフォーマンスをさらに高めることができます。
Cosmos 3 Super 4-Step（テキストから画像へ・画像から動画へ）: これらは分布整合型で蒸留されたチェックポイントとスクリプトであり、拡散プロセスのデノイジングステップ数を従来の 35〜50 からわずか 4 ステップに削減します。これにより、画像および動画の品質や忠実度を維持したまま、推論速度を最大 25 倍向上させることが可能です。
これらの例は、開発者が基盤として活用できる参考実装です。オープンソースのトレーニングスクリプトを使用すれば、Cosmos 3 Edge をカスタムロボットポリシー向けにポストトレーニングしたり、Cosmos 3 Super をアプリケーションに合わせて高速な画像・動画生成用に知識蒸留（ディストillation）したりすることが可能です。
Cosmos 3 Edge を試す
モデルのダウンロードはこちら：https://huggingface.co/nvidia/Cosmos3-Edge
Cosmos 3 Edge は、共通の世界表現を通じて「理解」「予測」「シミュレーション」「行動」を結びつけます。開発者はこれをデバイス上でセンサーに近い場所にデプロイできます。モデルは推論エンジンとして、あるいは行動生成器として機能します。
オープンソースの Cosmos フレームワークを活用して、モデルのカスタマイズや専門化を進めましょう。
Cosmos 3 の詳細はこちら：https://huggingface.co/collections/nvidia/cosmos3
これからの展望
Physical AI（物理的人工知能）向けに Cosmos 3 をさらに進化させ、インタラクティブな世界生成や運転シナリオのシミュレーション、ロボットポリシーに関する改善を順次リリースしていきます。
また、より幅広いハードウェアに対応した高速推論と効率的なポストトレーニングへの投資も進めています。これにより、下流モデルを構築する際に必要な時間と計算リソースを大幅に削減します。
具体的には、vLLM などのオープンソースの推論・最適化フレームワークを活用して Cosmos 3 のチェックポイントを最適化する取り組みを行っており、さらなる最適化機能や開発者向けツールの提供も間もなく開始されます。
原文を表示
- What Is World Modeling?
- Two Transformer Towers, One Shared Representation
- A Common Representation for Action Policy Mode
- Post-trained samples for improved performance
- Try Cosmos 3 Edge
The real world is vast and to operate in it physical AI systems need to understand how a scene is changing, anticipate what could happen next, and determine how an action will affect the world.
Machines operate at the edge in factories, warehouses, hospitals and beyond. To understand and act in these environments, they need models that deliver data center–level performance on memory-constrained systems.
Today we are releasing NVIDIA Cosmos 3 Edge on Hugging Face’s Cosmos 3 repository. It’s a 4-billion-parameter open world model that helps robots and vision AI agents understand their surroundings, reason in real time and generate robot actions on edge devices.
Download the model: https://huggingface.co/nvidia/Cosmos3-Edge
The model delivers memory-efficient, high-throughput inference across NVIDIA edge computers including NVIDIA RTX PRO GPUs, NVIDIA DGX, NVIDIA GeForce RTX™ GPUs, NVIDIA Jetson including the newly announced Jetson T2000 and T3000 modules.
Designed as a compact open model that can serve as a small vision language model (VLM) with best-in-class throughput and accuracy with real-time inference.
As a post-trained world action model (WAM), Cosmos 3 Edge operates at robot-control resolution (640×360 observations), delivering real-time reasoning and generating 32 actions per inference on NVIDIA Jetson Thor - while achieving real-time control at 15 Hz.
Among similar size (4B parameters) models, Cosmos 3 Edge ranks #1 on VANTAGE-Bench for vision analytics and state-of-the-art for robot policy learning, setting the state of the art for smart infrastructure and robotics.
What Is World Modeling?
A world model learns how an environment changes over time. It represents objects, motion, spatial relationships, and the effects of actions.
Consider a robot reaching for an object. Recognizing the object is only the first step. The robot must also understand where the object is, how its gripper is moving, what may happen when contact occurs, and which action is most likely to complete the task successfully.
A world model helps the robot reason about these relationships. It can predict the visual result of an action, infer the action that caused a change, or generate an action to produce a desired outcome.
Cosmos 3 Edge brings these capabilities together in one model, on-device. Its shared representation enables physical AI systems to understand the current world state, simulate possible futures, and connect those futures to actions.
Two Transformer Towers, One Shared Representation
Cosmos 3 combines two transformer towers:
- Autoregressive tower: Processes vision and text tokens for understanding and reasoning.
- Diffusion tower: Processes vision, audio, and action tokens for prediction, generation, and neural simulation.
The two towers maintain separate normalization layers and multilayer perceptrons. They share multimodal attention layers, which align information across language, video, audio, and action.
This design allows the model to reason about a scene before generating an output. Depending on the task, Cosmos 3 can produce reasoning tokens from the autoregressive tower or denoised video and action tokens from the diffusion tower.
The attention pattern is also adapted to each type of information. Language uses causal attention, where each token attends to the tokens that came before it. Diffusion tokens attend more broadly to the available context, supporting coherent prediction and generation.
Together, these components give the model a common representation of what is happening, what may happen next, and how an action could influence the outcome.
A Common Representation for Action
Physical systems describe actions differently. A vehicle may represent an action through ego pose and movement. A camera uses camera motion. A robot arm uses the pose of its end effector, while a hand or gripper also needs to represent grasp state.
Cosmos 3 maps these different embodiments into a common action representation.
Actions are encoded as compact geometric vectors that capture:
- Translation
- Rotation
- Manipulation state
This creates a direct connection between control and the visual structure of the world. The model can associate changes in pixels with physical motion, spatial relationships, and control inputs.
As a result, generated video becomes more than a visual prediction. It can represent how the world is expected to change in response to an action. This gives developers training data grounded in motion, control, and cause and effect.
Policy Mode
As a policy, Cosmos 3 predicts an action together with its expected visual consequence.
The model can generate what the system should do and simulate what is likely to happen next. This connects world modeling directly to robot policy training and evaluation.
Current state in, action and visual consequence out.
These modes enable one model to learn cause, effect, and policy. Action can flow through the model in both directions, allowing Cosmos 3 Edge to predict the effects of an action or infer an action from its effects.
*Prompt: Pick up the banana and put it in the plate.*
We are also releasing Cosmos 3 Edge Policy (DROID): A robot manipulation policy post-trained on the DROID dataset for pick-and-place tasks, with accompanying post-training scripts.
Developers can use a small cluster of H100 or NVIDIA DGX Station to efficiently fine-tune Cosmos 3 Edge for their target workloads before deploying to NVIDIA edge and accelerated computing platforms.
Post-trained samples for improved performance
Alongside the base models, we're releasing reference post-trained checkpoints and training recipes to help developers adapt and optimize Cosmos 3 for their own applications.
Cosmos 3 is an open world foundation model platform. As models are post-trained with high-quality, domain-specific data, their accuracy continue to improve for specialized applications. Cosmos serves as the starting point for building domain-adapted world models using open frameworks.
Post-training enables developers to improve model performance while preserving output quality. To demonstrate this workflow, we're also releasing the Cosmos 3 Super 4-Step Distillation checkpoint along with a post-training script, providing a faster reference implementation for 64B model that helps developers adapt Cosmos to their own domains and achieve better downstream performance.
Cosmos 3 Super 4-Step (Text-to-Image & Image-to-Video): These are distribution-matching distilled checkpoint and scripts that reduce diffusion from 35–50 denoising steps to just 4, delivering up to 25× faster inference while preserving image and video quality and fidelity.
These examples serve as reference implementations that developers can build on. Using the open training scripts, you can post-train Cosmos 3 Edge for custom robot policies or distill Cosmos 3 Super for faster image and video generation tailored to your application.
Try Cosmos 3 Edge
Download the model: https://huggingface.co/nvidia/Cosmos3-Edge
Cosmos 3 Edge connects understanding, prediction, simulation, and action through a shared world representation.Developers can deploy it closer to their sensors on-device. The model can be used as a reasoner or as an action generator.
Use open Cosmos Frameworks to customize and specialize the models.
Checkout Cosmos 3: https://huggingface.co/collections/nvidia/cosmos3
What's ahead
We continue to advance Cosmos 3 for Physical AI, with upcoming improvements in interactive world generation, driving scenario simulation, and robotics policies.
We are also investing in faster inference and more efficient post-training across a broader range of hardware, reducing the time and compute required to build downstream models.
This includes optimizing Cosmos 3 checkpoints with open inference and optimization frameworks such as vLLM, with more optimizations and developer tooling coming soon.
関連記事
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み