NVIDIA Cosmos 3 の登場：物理 AI の推論と行動のための初のオープンオムニモデル

[記事一覧に戻る](https://huggingface.co/blog) [NVIDIA Cosmos 3](https://www.nvidia.com/en-us/ai/cosmos/) が登場しました。本日、[Hugging Face](https://huggingface.co/collections/nvidia/cosmos3) で利用可能です。Cosmos 3 は、物理的 AI（Physical AI）向けの [世界基盤モデル](https://www.nvidia.com/en-us/glossary/world-models/) (WFMs: World Foundation Models) における大きな飛躍を象徴するものです。これは、世界の生成、物理的な推論、そして行動の生成を一つのモデルに統合した、単一の統一されたオムニモデルです。もはや異なるモデルや推論パイプラインの間を行き来する必要はありません。Cosmos 3 はすべてをこなします。 ロボット工学、自動運転車、あるいはスマートスペース向けに構築する際でも、Cosmos 3 は物理世界をシミュレーションし理解するための基盤を提供します。 今回のリリースに含まれる主な内容は以下の通りです： - Hugging Face で利用可能な Cosmos 3 Super および Cosmos 3 Nano（モデルカードとライセンス付き） - 生成パイプライン向けの Cosmos 3 Diffusers 統合 - 独自データで Cosmos 3 をトレーニングするためのポストトレーニングスクリプト（GitHub 公開中） - 物理的 AI 向けのオープンな合成データ生成 (SDG: Synthetic Data Generation) データセット **目次** - Cosmos 3 の新機能 - Cosmos 3 の機能 - Diffusers を用いた Cosmos 3 の活用 - 物理的 AI 向けデータセット - Cosmos フレームワーク - リソース ## セクション 1: Cosmos 3 の新機能 Cosmos 3 の前作との最大の違いは、Mixture-of-Transformers (MoT) アーキテクチャに基づいて構築されたオムニモデルである点です。以前は、世界生成（Cosmos Predict）、制御生成（Cosmos Transfer）、シーン理解（Cosmos Reason）、ポリシー生成（Cosmos Policy）など、異なる機能ごとに別々のモデルを扱う必要がありました。しかし Cosmos 3 では、これらすべてを単一のモデルで実現可能となり、1 つの統一された順方向パス内で推論を行いながらさまざまなモダリティを生成できるようになりました。 つまり、今では以下のすべてのことが単一のモデルから行えるようになります： - テキスト、画像、動画、またはアクション入力から、現実的で物理的に妥当なビデオ世界を生成する - 運動、因果関係、空間的関係といった物理的特性について推論する - 現在の状態に基づいて将来のビデオおよびアクションシーケンスを予測する **これが物理 AI にとってなぜ重要なのか** Cosmos 3 は、現実世界を理解できる物理 AI システムの構築を支援します。単なるピクセルやトークンではなく、運動、因果関係、物理学、そしてアクションそのものを理解するためのものです。洗濯物を畳むロボットの訓練を行う場合でも、自動運転シミュレーションを構築する場合でも、倉庫の安全シナリオ用の合成トレーニングデータを生成する場合でも、Cosmos 3 はまさにこれらのユースケースのために設計されたファウンデーションモデルです。 ![image](https://cdn-uploads.huggingface.co/production/uploads/6799309995f2227228bc38f3/Wcx8G3cD6e3tib-Zj4Ryw.gif) ロボットによるピッキング＆プレイスユースケース向けに Cosmos 3 が生成した動画。 ![image](https://cdn-uploads.huggingface.co/production/uploads/6799309995f2227228bc38f3/FP6Mh3FqTyThuZ_RN4mt4.gif) Cosmos 3 によって生成された、ロングテール（稀な事象）の運転シナリオにおける動画。 ![image](https://cdn-uploads.huggingface.co/production/uploads/6799309995f2227228bc38f3/WgIJWLbDhavkxYV8mBYjh.gif) Cosmos 3 を用いた倉庫安全データからの画像から動画への生成。 ![image](https://cdn-uploads.huggingface.co/production/uploads/6799309995f2227228bc38f3/g06bFosM9Br-cwgfmt7cl.png) 自動運転アプリケーションにおける Cosmos 3 の思考連鎖推論。 **アーキテクチャ** Cosmos 3 は、テキスト、画像、動画、音声、およびアクションというすべてのモダリティを単一の統合アーキテクチャ内で処理する、MoT（Mixture of Transformers）バックボーンの上に構築されています。各モダリティはまず専用のエンコーダーによって符号化されます（視覚理解には ViT（Vision Transformer）、視覚・音声生成には VAE（Variational Autoencoder）、アクションにはドメイン認識ベクトルを使用）。その後、これらは共有表現空間に投影されます。 入力シーケンスは 2 つのサブシーケンスに分割されます。1 つは次トークン予測を通じて推論と理解を担う自己回帰型（AR）サブシーケンス、もう 1 つは反復的なノイズ除去を通じて生成を担う拡散モデル（DM）サブシーケンスです。AR トークンと DM トークンは各トランスフォーマー層内で別々のパラメータセットを使用しますが、結合アテンションを通じて相互作用します。この仕組みにより、単一のモデルがアーキテクチャの変更なしに、VLM（Vision-Language Model）、動画生成器、順方向/逆方向ダイナミクスモデル、あるいはロボットポリシーとしてシームレスに切り替えることが可能になります。 **モデルバージョン** 今回の Cosmos 3 のリリースでは、異なる展開シナリオに最適化された 2 つのモデルサイズが含まれています: - Cosmos 3 Nano - これは 8B パラメータモデル（8B リゾナーと 8B ジェネレーター）で、効率的な推論のために最適化されています。Cosmos 3 Nano は RTX PRO 6000 GPU などのワークステーショングレードの計算リソース上で実行するように設計されており、Hugging Face の nvidia/Cosmos3-Nano で利用可能です。 - Cosmos 3 Super - これは 32B パラメータモデル（32B リゾナーと 32B ジェネレーター）で、大規模な合成データ生成 (SDG) と研究のために設計されており、NVIDIA Hopper および Blackwell GPU で実行されます。Cosmos 3 Super は Hugging Face の nvidia/Cosmos3-Super で利用可能です。 ## SECTION 2: Cosmos 3 Capabilities Cosmos 3 は、単一の統一モデルを通じて複数の入力および生成モダリティをサポートします: **Input Modality** **Output Modality** **Application** Text | Image | Video Video Video Model Text | Video Text Vision Language Model (VLM) Action | Image | Text Video Forward Dynamics Model Text | Video Action Inverse Dynamics Model Image | Text Video & Action Policy Model **Prompt Guide** 動画生成においては、物語的な段落形式の詳細なプロンプトの使用を推奨します。例えば: ** 動画は、晴れた青空の下、多車線の高速道路を走行する車両の内部からの視点で始まります。道路の両側には濃い緑の木々が立ち並び、静かな環境を作り出しています。前方には目立つ白い大型トラックや様々な乗用車など複数の車両が見え、一定の速度を保っています。高速道路はコンクリート製のガードレールによって区切られた複数の車線からなり、明るい日差しがシーン全体を照らし、晴れた一日であることが示されています。動画が進むにつれて、前方の車線に突然大量の破片が現れます。回避する時間がほとんどない中、自車両は破片の上を走行して前進し続ける必要があります。散乱した物体の上を通過する際、自車両には明らかな衝撃が発生します。これは、前方の道路と周囲の環境を捉える車両内部からの視点ショットです。 アクション生成においては、プロンプトは簡潔であり、かつ空間的な参照を含めるべきです。例えば： 紫色のアイテムの左側に鍋を置きます。この動画は、その場を見下ろす一人称視点から撮影されています。 高品質なプロンプト作成のためのプロンプトアップサンプリングテンプレートとベストプラクティスは、GitHub のプロンプティングガイドで見つけることができます。 ## セクション 3: Diffusers を使用した Cosmos 3 の活用 翻訳全文 Cosmos 3 は Hugging Face Diffusers ライブラリと統合されており、数行のコードだけで世界生成パイプラインを簡単に利用できます。Cosmos 3 は、お馴染みの DiffusionPipeline を通じて *Cosmos3OmniPipeline* (Cosmos3 オムニパイプライン) で実行可能です。これにより、Cosmos 3 の摩擦のない採用と、既存のパイプラインとの統合を実現することが目的です。 次に、Cosmos 3 Nano モデルを使用した単一フレーム生成の Text-to-Image（テキストから画像へ）例を見てみましょう： import torch from diffusers import Cosmos3OmniPipeline pipe = Cosmos3OmniPipeline.from_pretrained( "nvidia/Cosmos3-Nano", torch_dtype=torch.bfloat16, device_map="cuda" ) prompt = ( "A medium shot of a modern robotics research laboratory with white walls and a gray floor. " "A robotic arm with a metallic finish is mounted on a clean white workbench, its gripper positioned " "above a row of small colored objects. A laptop and neatly arranged tools sit beside the robot. " "A large monitor on the wall behind displays a software interface. The scene is brightly lit by " "overhead fluorescent lights." ) result = pipe(prompt=prompt, num_frames=1, height=720, width=1280) result.video[0].save("cosmos3_t2i.jpg", format="JPEG", quality=85) Cosmos 3 Nano モデルと上記のプロンプトによって生成された画像がこちらです： ![image](https://cdn-uploads.huggingface.co/production/uploads/6799309995f2227228bc38f3/J7F5Kov02E21Tx1A21ZcB.jpeg) ドキュメントには、テキストから動画へ、画像から動画への生成などの例も含まれています。詳細情報や API の使用方法については、[Cosmos 3 Diffusers ドキュメント](https://huggingface.co/docs/diffusers/main/en/api/pipelines/cosmos3) をご覧ください。 ## セクション 4: 物理 AI 用データセット Cosmos 3 のローンチの一環として、NVIDIA は物理 AI コミュニティが世界基盤モデルの訓練と評価を行うのを支援するため、一連の合成データ生成（Synthetic Data Generation: SDG）データセットを公開します。これらのデータセットは NVIDIA の各チームによって生成され、Hugging Face で利用可能です。 | データセット名 | ドメイン | 説明 | | :--- | :--- | :--- | | [Embodied-Robot-Scenes](http://huggingface.co/datasets/nvidia/PhysicalAI-SDG-RobotSim) | ロボティクス | 合成ロボットシミュレーションデータ | | [Physical-Interaction-Scenes](http://huggingface.co/datasets/nvidia/PhysicalAI-SDG-PhysxSim) | 物理学 | Isaac Sim 物理シミュレーションデータ | | [Spatial-Reasoning](https://huggingface.co/datasets/nvidia/PhysicalAI-WorldModel-Synthetic-Spatial-Reasoning) | 推論 | 具現化された空間推論データ | | [Digital-Human-Scenes](http://huggingface.co/datasets/nvidia/PhysicalAI-SDG-SynHuman) | 人間の動作 | 合成人間動作データ | | [Autonomous-Driving-Scenarios](http://huggingface.co/datasets/nvidia/PhysicalAI-SDG-DriveSim) | 運転 | 運転シミュレーションデータ | | [Warehouse-Operations-Scenes](http://huggingface.co/datasets/nvidia/PhysicalAI-SDG-WareHouse) | ウェアハウス安全 | ウェアハウス環境データ | ## セクション 5: Cosmos フレームワーク [Cosmos Framework](https://github.com/NVIDIA/Cosmos-Framework) は、Cosmos 3 などの WFMs（World Foundation Models）のトレーニングとサービングのためのエンドツーエンドフレームワークです。ここでは推論スクリプトやポストトレーニングスクリプト、開発用のエージェントスキルを見つけることができます。 **Post-training Cosmos 3** Cosmos 3 は、ロボット、自動運転車、スマートスペース向けの世界動画および動作を、そのままの状態で理解・生成できますが、特定のアプリケーションでは最適な結果を得るために、特定のデータセットに対する追加のポストトレーニングが必要となる場合があります。異なるロボット、環境、タスク向けに Cosmos 3 のポストトレーニングを行うことを推奨します。詳細はリポジトリ内のポストトレーニングガイドをご覧ください。 **Agent Skills** 本リポジトリには開発を迅速かつ容易にするためのエージェントスキルも用意されています。これらのスキルは要件の検証や依存関係を含む環境のセットアップを支援します。また、リポジトリ構造やサンプルの学習、適切なプロンプトの作成、推論およびポストトレーニングスクリプトの実行にも利用できます。 ## SECTION 6: Resources Cosmos 3 の機能、パフォーマンス、ポストトレーニング、NIM マイクロサービスを用いたデプロイについては、[Cosmos 3 技術ブログ](https://developer.nvidia.com/blog/develop-physical-ai-reasoning-world-and-action-models-with-nvidia-cosmos-3) をご覧ください。 - Cosmos 3 GitHub - Cosmos 3 NIM マイクロサービス - Cosmos Cookbook - Cosmos Page - Cosmos 3 Technical Paper - Diffusers Cosmos Documentation ## Acknowledgments Cosmos 3 は、NVIDIA 内の多くのチームおよび人々との素晴らしい協力の成果です。以下にその一部を挙げます。 翻訳全文 Adeline Aubame, Aditya Mahajan, Aigul Dzhumamuratova, Akash Gokul, Akul Santhosh, Aleksandr Efitorov, Alex Sotelo, Alexander Schwarz, Alperen Degirmenci, Amol Fasale, Andrew Tham, Ankur Handa, Arihant Jain, Arslan Ali, Artur Zolkowski, Aryaman Gupta, Asawaree Bhide, Ashkan Mirzaei, Ashley Chow, Ashna Khetan, Atharva Joshi, Barnaby Simkin, Benedikt Falk, Brett Hamilton, Carlos Casanova, Chaeyeon Chung, Charles Zhou, Chen-Hsan Lin, Chen-Hsuan Lin, Chhavi Nijhawan, Chieh-Yun Chen, Chintan Shah, Chris Helvig, Chris Pruett, Cindy Zha, Cyrus Hogg, Dahjung Chung, Dan Blick, David Wehr, Dawid Majchrowski, DeLesley Hutchins, Delin Qu, Dennis Lynch, Diego Garzon, Dima Zhylko, Durra Mohsin, Egor Krivov, Ekram Mukbil, Eric Cameracci, Fangyin Wei, Fengzhe Zhou, Francesco Ferroni, Freya Li, George Kurian, Gwanghyun Kim, Haaland Hao Liang, Hai Loc Lu, Hans Yang, Hao Liang, Hao Wang, Hesam Rabeti, Hugo Hadfield, Hyejin Moon, Itai Zadok, Jayjun Lee, Jeana Choi, JF Lafleche, Jiangran Lyu, Jiaojiao Fan, Jiaxiang Tang, Jibin Varghese, Jim Fan, Jingyi Jin, Jinwei Gu, Jon Allen, Joshua Bapst, Joyjit Daw, Julia Kiczka, Julian Ouyang, Kaichun Mo, Kayley Ting, Ke Ding, Kedi Wu, Kevin Brady, Kirill Motkov, Kristen Rumley, Krzysztof Tomala, Liang Feng, Liangkai Zhang, Ling Li, Louis Marcoux, Maciej Bala, Madison Huang, Magdalena Dadela, Mahesh Patekar, Marco Di Lucca, Marilyn Reeb, Mark Carlson, Martin Antolini, Mateusz Sieniawski, Matt Cragun, Meredith Price, Michael Huang, Miguel Guerrero, Miguel Martin, Min Shi, Ming-Yu Liu, Mohammad Harrim, Morteza Ramezanali, Mukesh Beladiya, Nalin Dadhich, Naomi Eigbe, Nathan Hayes-Roth, Nicole Drumheller, Nikhilesh Joshi, Omar Laymoun, Paris Zhang, Paula Ramos, Pawel Morkisz, Peter Gambrill, Pooya Jannaty, Pooya Khaloo, Pranjali Joshi, Qi Wang, Qianli Ma, Qiao Wang, Qing Miao, Qizhi Chen, Rahul Heinrich Steiger, Raju Wagwani, Robert Denomme, Rodrigo Vieira Del Monte, Roy Anthony, Ruqing Xu, Ryan Bernard, Ryan Ji, Saeid Motiian, Sandip Bhaskar, Sandra Skaff, Santanu Dutta, Saurav Kumar, Sehwi Park, Sergiy Fefilatyev, Shangkun Sun, Shangru Li, Shilin Zhu, Shreyas Misra, Shun Zhang, Shuran Song, Simon Yuen, Simon Zhang, Slawek Kierat, Smita Ithape, Soha Pouya, Sophia Huang, Stefanie Manzinger, Steven Baughman, Suneel Indupuru, Sunil Srinivasa, Sunny Kim, Tavish Chen, Thabang Ngazimbi, Thomas Volk, Tianwei She, Tiffany Cai, Ting-Chun Wang, TJ Galda, Tolou Tavakkoli, Tomasz Kornuta, Trung Pham, Tsung-Yi Lin, Vanni Brighella, Varun Praveen, Wei-Cheng Tseng, Wenjie Luo, Wesley Li, Wojciech Kutak, Wojciech Rymer, Xiangyu Lu, Xiaodong Yang, Xiaotong Chen, Xin Kong, Xinquan Xu, Xiu Chia, Xuning Yang, Yan Chang, Yan Wang, Yanan Jian, Yao Xu, Yashraj Narang, Yeongho Seol, Yichu Yang, Yifan Ding, Yihuai Gao, Yilin Zhao, Yin Cui, Yogesh Balaji, Yu Wang, Yu-Wei Chao, Yue Tang, Yufan Huang, Yuke Zhu, Yuliya Zhautouskaya, Yurong You, Yuzhu Dong, Zaid Pervaiz Bhat, Zekun Hao, Zhaoshuo Li, Zhizheng Zhang.

NVIDIA Cosmos 3 の登場：物理 AI の推論と行動のための初のオープンオムニモデル

背景や根拠まで確認しますか？

調べる

選ぶ

サイト