NVIDIA Cosmos 3 で物理 AI の推論・世界モデル・行動モデルを開発する

Physical AI システムは、その中で行動を起こす前に現実世界を理解する必要があります。ロボット、自動運転車、スマートスペースは、自らの世界で何が起きているかを理解し、次に何が起こる可能性が高いかを予測し、特定の環境、実装形態、タスクに対して行動を生成する必要があります。

NVIDIA Cosmos 3 は、物理推論、世界生成、および行動生成を単一のオープンモデルに統合した、Physical AI 向けのフロンティア基盤モデルです。

NVIDIA は、Physical AI の開発をよりオープンで再現可能にするため、Cosmos 3 モデル、トレーニングスクリプト、デプロイメントツール、およびデータセットをオープンソース化しています。本ブログ記事では、Cosmos 3 の基本原則を解説し、技術報告書 から重要な概念を紹介するとともに、技術的なワークフローを案内し、チームがロボットマニピュレーションシステム、自動運転車、および倉庫監視ソリューションの構築を開始する方法を示します。

今回のリリースの主なハイライトは以下の通りです：

• NVIDIA Cosmos 3 Nano および NVIDIA Cosmos 3 Super モデルのチェックポイントは Hugging Face で、コードは GitHub に公開されています。

• ロボティクスや自動運転などの物理 AI アプリケーション向けのオープンデータセットです。

• Cosmos 3 をあなたのドメインに適応させるためのポストトレーニングスクリプトも公開しています。

• NVIDIA GPU 上で容易かつ最適化されたデプロイを実現するための Cosmos NIM マイクロサービスです。

Cosmos 3 の新機能

以前の Cosmos リリースでは、世界生成、物理的理解、制御されたシーン生成をそれぞれ異なるモデルとワークフローに分離していましたが、今回のリリースではこれらすべての機能を統合し、2 つのタワー（塔）を中心に構築された Mixture-of-Transformers (MoT) アーキテクチャを採用しました。

• Reasoner タワー：画像、動画、テキストなどの多様な観測データを解釈するビジョン・ランゲージモデル（VLM）です。このタワーは自己回帰型アーキテクチャを用いて入力を読み込み、運動や物体間の相互作用、その他の物理的文脈を理解します。これは生成が行われる前に世界について推論を行う『脳』の役割を果たします。

• Generator タワー：将来の観測データと行動シーケンスを生成します。このタワーは拡散ベースのプロセスを用いて、Reasoner タワーの理解に基づき条件付けられた、物理法則を意識した動画および行動出力を生成します。Reasoner は独立して呼び出すことも可能ですが、Generator はガイド付き生成のために常に両方のタワーを同時に起動します。

このアーキテクチャにより、単一のモデルで推論と生成タスクの両方を実行できるようになり、複数のモデルや推論パイプライン間のオーケストレーションを不要とすることで開発が簡素化されます。

適切なモデルサイズを選択する

現在、2 つの Cosmos 3 モデルが利用可能です:

• Cosmos 3 Nano は、8B パラメータを持つコンパクト版で、効率的な推論に最適化されています。リアルタイムロボティクス推論や物理 AI アプリケーション向けに、NVIDIA RTX PRO 6000 GPU などのワークステーショングレードの計算リソース上で動作するように設計されています。

• Cosmos 3 Super は、最大品質と能力を実現するための 32B パラメータモデルです。最高水準のベンチマークスコアを提供し、NVIDIA Hopper および NVIDIA Blackwell GPU 上のデータセンター展開をターゲットとしており、大規模な合成データ生成や高度な物理推論ワークロードに適しています。

サポートされるモダリティ

Cosmos 3 は、その統一アーキテクチャを通じて以下の入力および出力モダリティをサポートします:

Action-conditioned world modelOutputApplication

TextImagePhysically-plausible Image generation

Text | VideoVideoWorld model for rare edge case video data generation

Text | ImageVideoWorld model for prediction

Text | Image | VideoTextVLM for reasoning

Action | Video | TextVideoAction conditioned world model

動画 | テキスト動画 | アクションワールドアクションモデル、ビデオアクションモデル、ビジョンランゲージアクションモデル、ロボット学習用ポリシーモデル

*表 1. Cosmos 3 が異なるアプリケーションに対してサポートする入力および出力モダリティ*

物理 AI 用のオープンデータセット

Cosmos 3 のリリースに伴い、NVIDIA は Hugging Face 上で 6 つの合成データ生成（SDG）データセットをオープンソース化します。これらはロボット工学、物理学シミュレーション、空間推論、人間の動作、運転、倉庫環境をカバーしており、Cosmos 3 および他のモデルのポストトレーニングに使用できます。

物理 AI ワールドモデル用合成データセットには以下が含まれます:

• エンボディド（具現化）ロボットシーン

• 物理的相互作用シーン

• 空間推論

• デジタルヒューマンシーン

• 自律走行シナリオ

• 倉庫運用シーン

image*図 8. 自律走行シナリオデータセットからの例*!

NVIDIA Cosmos 人間評価ベンチマーク

NVIDIA Cosmos Human Evaluation（HUE）フレームワークは、代表的なドメインタスクにおける Cosmos 3 の生成器の品質を評価します。

SOTA（State-of-the-Art：最先端）動画生成モデルが既存の自動リーダーボードを飽和させる中、リリース間のスコア差は意味のある比較を行うにはしばしば狭すぎます。HUE は評価を主観的な採点から客観的事実検証へとシフトさせ、トップティアモデル間での微細な比較を可能にします。その結果、迅速な反復と、完全な人間評価によって裏付けられた厳格なリリース決定の両方に対して、より信頼性の高い品質指標が得られます。

HUE は原子論的な二値検証を用いて動画生成の品質を評価します。各生成された動画は、4 つの次元（意味的整合性、物理法則、幾何学的推論、視覚的完全性）にわたる単一事実の yes/no 質問へと分解されます。これらはロボット工学、自律車両、物理学を含む 7 つの Physical AI ドメインにまたがります。これらの質問は VLM（Vision-Language Model：ビジョン・ランゲージモデル）パイプラインによって生成され、人間の専門家によって精査された後、Hugging Face でオープンソースとして公開されています。

ベンチマーク結果

Cosmos 3 は、物理 AI の推論、生成の質、ドメイン固有のパフォーマンスをカバーする複数のベンチマークスイートで評価されました。

推論ベンチマーク**

Cosmos 3 Super と Cosmos 3 Nano は、それぞれ 32B タイアと 8B タイアにおいて VANTAGE-Bench で首位となっています:

• VANTAGE-Bench: ウェアハウス、交通、スマートスペースにおける実世界の固定カメラ映像を対象に、ビジョン言語モデルを評価するための初の公開ベンチマーク。

• 交通異常推論 (TAR): 交通映像における異常事象の検出と推論のための新たなリーダーボードであり、AI City Challenge 2026 のトラック 3 の公式リーダーボードです。

生成器ベンチマーク

Cosmos 3 は R-Bench および PAIBench-G、Physics-IQ、RoboLab においてオープンソースの SOTA（State-of-the-Art）であり、現在公開リーダーボードで首位を占めています:

• Artificial Analysis: テキスト、画像、動画生成における AI モデルをランク付けするベンチマークプラットフォーム。Cosmos 3 は「テキストから画像へ」および「画像から動画へ（音声なし）」の両リーダーボードで最上位のオープンソースモデルです。

• R-Bench: ロボットによる動画生成におけるビデオベースの世界モデルを評価するためのベンチマーク。構造的整合性、物理的妥当性、実行完全性などのサブメトリクスを通じて、タスク完了と視覚品質を評価します。

• PAI-Bench: ロボティクス、自動運転車、物理的な常識など多様な分野にまたがり、動画理解と動画生成における物理 AI を包括的に評価する統一ベンチマーク。

• Physics-IQ: 生成型動画モデルが単なる視覚的リアリズムを達成しているだけでなく、物理法則を真に理解しているかをテストするための実世界動画を用いたベンチマーク。

• RoboLab: タスク一般化ロボットポリシーを評価するためのシミュレーションベンチマーク。

トレーニングレシピ

Cosmos 3 のリリースにおける中核的な要素は、完全にオープンなトレーニングレシピのセットです。モデルチェックポイントを超え、このリリースでは Cosmos 3 を新たなドメイン、エンボディメント（身体性）、およびデータセットに適応させるためのコード、設定ファイル、ワークフローが提供されます。

教師あり微調整 (SFT) ポストトレーニング

教師あり微調整 (Supervised Fine-Tuning: SFT) により、開発者は Cosmos 3 モデルを独自のデータに適合させることが可能になります。公開されたレシピには、カスタム動画データセット向けのビジョン生成用ポストトレーニングに加え、ロボティクスおよび物理 AI ワークフロー向けのアクション指向のレシピが含まれています。開発者は、ロボティクス、自動運転、倉庫自動化におけるターゲットドメインに合わせて Cosmos 3 をカスタマイズできます。

ポストトレーニング用のコードと設定 は GitHub で利用可能です。

アクション用ポストトレーニング

Action post-training は、Cosmos 3 をアクション認識型 Physical AI アプリケーション向けに適応させるものであり、これにはフォワードダイナミクス（forward dynamics）、インバースダイナミクス（inverse dynamics）、およびポリシー生成が含まれます。開発者は、アクションラベル付きデータ上で Cosmos 3 のポストトレーニングを行うことができます。ロボット工学アプリケーションにおいては、これは主に以下の重要なワークフローを含みます：ロボットのアクションを条件として未来の観測値を生成する、観測されたデモンストレーションの背後にあるアクションを推論する、現在の観測値とタスクプロンプトからアクションシーケンスを予測する。これにより、Cosmos 3 は世界アクションモデリングおよびポリシー学習のための強力な基盤となります。

*Video 1. Tutorial video showing how to post-train Cosmos 3*

NVIDIA NIM マイクロサービスでデプロイ

Cosmos 3 モデルは、最適化された本番環境対応のデプロイを実現するために NVIDIA NIM マイクロサービス としても利用可能です。NIM マイクロサービスは、モデルを最適化された推論ランタイムと共にパッケージ化しており、サービングインフラストラクチャを手動で調整する必要なく高性能を提供します。ポストトレーニングワークフローには GitHub の Cosmos 3 リポジトリが推奨されるのに対し、推論ワークフローにおいては NIM マイクロサービスのほうが利用しやすいです。

Cosmos 3 Reasoner NIM は本日より提供を開始し、Cosmos 3 モデルの推論能力を実現しています。Cosmos 3 モデルの完全な生成機能を提供する Cosmos 3 Generator NIM については、今後の発表をお待ちください。

推論加速のための最適化

• Quantization（量子化）：Cosmos 3 NIM は、BF16、FP8、または NVFP4 の量子化済みチェックポイントを選択して使用できます。NVFP4 量子化は、モデルの数値精度を BF16 から 4 ビット浮動小数点に低下させることで、推論速度を最大 2 倍向上させます。

• vLLM：これは、連続バッチ処理、ページドアテンション（paged attention）、テンソル並列化などの技術を活用して LLM を効率的に提供するためのオープンソースの推論エンジンです。Cosmos 3 Reasoner NIM のサービングスタックは、従来のサービング手法と比較してスループットを高めるために vLLM を基盤として構築されています。Cosmos 3 Nano は、最高パフォーマンスを発揮するために vLLM-omni と NVIDIA Dynamo で実行可能です。

• Efficient Video Sampling（EVS）：この技術は、推論時に VLM に供給されるビデオトークンの数を削減し、Cosmos Reason NIM の速度を向上させます。EVS はチャンクレベルで動作し、各フレームの中で最もユニークなチャンクを保持して他を剪定します。小型の GPU ほど、この技術からの恩恵をより大きく受けます。

NIM の実行方法

コンテナのプルや NGC からの Cosmos 3 モデルのダウンロードには、NVIDIA NGC API キーが必要です。

Cosmos3 Nano Reasoner NIM をプルして実行するには、以下のコマンドを使用します。Cosmos3 Super Reasoner NIM の場合は、NIM_MODEL_SIZE=super を指定してください。

docker run --gpus=all \

-e NGC_API_KEY=$NGC_API_KEY \

-e NIM_MODEL_SIZE=nano \

-p 8000:8000 \

nvcr.io/nim/nvidia/cosmos3-reasoner:latest

API の使用方法やその他の詳細については、ドキュメントをご覧ください。

*Video 2. Cosmos Reasoner NIM の使い方を示すチュートリアル動画*

始める

• Hugging Face で Cosmos 3 Nano および Super チェックポイントをダウンロードしてください。

• Cosmos 3 の GitHub で例やコードを見つけてください。

• Cosmos 3 Nano Reasoner モデルの体験版と、Cosmos 3 Nano モデルの体験版をお試しください。

• コミュニティに参加し、GitHub および Discord で問題提起を行い、Cosmos エコシステムへの貢献にご協力ください。

*謝辞*

*Cosmos 3 は、NVIDIA 内の多くのチームや人々との素晴らしい協力の成果です。これには、Adeline Aubame, Aditya Mahajan, Aigul Dzhumamuratova, Akash Gokul, Akul Santhosh, Aleksandr Efitorov, Alex Sotelo, Alexander Schwarz, Alperen Degirmenci, Amol Fasale, Andrew Tham, Ankur Handa, Arihant Jain, Arslan Ali, Artur Zolkowski, Aryaman Gupta, Asawaree Bhide, Ashkan Mirzaei, Ashley Chow, Ashna Khetan, Atharva Joshi, Barnaby Simkin, Benedikt Falk, Brett Hamilton, Carlos Casanova, Chaeyeon Chung, Charles Zhou, Chen-Hsan Lin, Chen-Hsuan Lin, Chhavi Nijhawan, Chieh-Yun Chen, Chintan Shah, Chris Helvig, Chris Pruett, Cindy Zha, Cyrus Hogg, Dahjung Chung, Dan Blick, David Wehr, Dawid Majchrowski, DeLesley Hutchins, Delin Qu, Dennis Lynch, Diego Garzon, Dima Zhylko, Durra Mohsin, Egor Krivov, Ekram Mukbil, Eric Cameracci, Fangyin Wei, Fengzhe Zhou, Francesco Ferroni, Freya Li, George Kurian, Gwanghyun Kim, Haaland Hao Liang, Hai Loc Lu, Hans Yang, Hao Liang, Hao Wang, Hesam Rabeti, Hugo Hadfield, Hyejin Moon, Itai Zadok, Jayjun Lee, Jeana Choi, JF Lafleche, Jiangran Lyu, Jiaojiao Fan, Jiaxiang Tang, Jibin Varghese, Jim Fan, Jingyi Jin, Jinwei Gu, Jon Allen, Joshua Bapst, Joyjit Daw, Julia Kiczka, Julian Ouyang, Kaichun Mo, Kayley Ting, Ke Ding, Kedi Wu, Kevin Brady, Kirill Motkov, Kristen Rumley, Krzysztof Tomala, Liang Feng, Liangkai Zhang, Ling Li, Louis Marcoux, Maciej Bala, Madison Huang, Magdalena Dadela, Mahesh Patekar, Marco Di Lucca, Marilyn Reeb, Mark Carlson, Martin Antolini, Mateusz Sieniawski, Matt Cragun, Meredith Price, Michael Huang, Miguel Guerrero, Miguel Martin, Min Shi, Ming-Yu Liu, Mohammad Harrim, Morteza Ramezanali, Mukesh Beladiya, Nalin Dadhich, Naomi Eigbe, Nathan Hayes-Roth, Nicole Drumheller, Nikhilesh Joshi, Omar Laymoun, Paris Zhang, Paula Ramos, Pawel Morkisz, Peter Gambrill, Pooya Jannaty, Pooya Khaloo, Pranjali Joshi, Qi Wang, Qianli Ma, Qiao Wang, Qing Miao, Qizhi Chen, Rahul Heinrich Steiger, Raju Wagwani, Robert Denomme, Rodrigo Vieira Del Monte, Roy Anthony, Ruqing Xu, Ryan Bernard, Ryan Ji, Saeid Motiian, Sandip Bhaskar, Sandra Skaff, Santanu Dutta, Saurav Kumar, Sehwi Park, Sergiy Fefilatyev, Shangkun Sun, Shangru Li, Shilin Zhu, Shreyas Misra, Shun Zhang, Shuran Song, Simon Yuen, Simon Zhang, Slawek Kierat, Smita Ithape, Soha Pouya, Sophia Huang, Stefanie Manzinger, Steven Baughman, Suneel Indupuru, Sunil Srinivasa, Sunny Kim, Tavish Chen, Thabang Ngazimbi, Thomas Volk, Tianwei She, Tiffany Cai, Ting-Chun Wang, TJ Galda, Tolou Tavakkoli, Tomasz Kornuta, Trung Pham, Tsung-Yi Lin, Vanni Brighella, Varun Praveen, Wei-Cheng Tseng, Wenjie Luo, Wesley Li, Wojciech Kutak, Wojciech Rymer, Xiangyu Lu, Xiaodong Yang, Xiaotong Chen, Xin Kong, Xinquan Xu, Xiu Chia, Xuning Yang, Yan Chang, Yan Wang, Yanan Jian, Yao Xu, Yashraj Narang, Yeongho Seol, Yichu Yang, Yifan Ding, Yihuai Gao, Yilin Zhao, Yin Cui, Yogesh Balaji, Yu Wang, Yu-Wei Chao, Yue Tang, Yufan Huang, Yuke Zhu, Yuliya Zhautouskaya, Yurong You, Yuzhu Dong, Zaid Pervaiz Bhat, Zekun Hao, Zhaoshuo Li, Zhizheng Zhang が含まれます。*