NVIDIA、物理AI向けオープンフロンティアモデル「Cosmos 3」を発表

ニュースサマリー:

• NVIDIA Cosmos 3 は、物理 AI の推論、世界シミュレーション、行動生成のための画期的な混合トランスフォーマーアーキテクチャを基盤とした、新世代のリーダーボード首位を占めるオープンな物理 AI ファウンデーションモデルです。

• Cosmos 3 は、テキスト、画像、動画、環境音、そして行動にわたるネイティブなビジョン推論とマルチモーダル生成機能を備えた、世界で初めて完全オープン化されたオムニモデルであり、最先端の合成データ生成および物理 AI ポリシーモデル開発を可能にします。

• NVIDIA は次世代のオープンワールドモデルの発展を目指し、Agile Robots、Black Forest Labs、Generalist、LTX、Runway、Skild AI といった主要な AI ラボおよびロボット工学のリーダー企業と共に「NVIDIA Cosmos コーリション」を設立しました。

NVIDIA GTC Taipei— NVIDIA は本日、ビジョン推論、世界生成、行動予測を単一のシステムで統合した画期的な混合トランスフォーマーアーキテクチャ（mixture-of-transformers）を基盤とした、物理 AI 向けのオープンワールドファウンデーションモデル「NVIDIA Cosmos™ 3」を発表しました。

Cosmos 3 は、テキスト、画像、動画、環境音、行動をネイティブに理解・生成でき、最先端の物理精度を実現する世界で初めて完全オープン化されたオムニモデル（omnimodel）です。これにより、物理 AI のトレーニングおよび評価サイクルが数ヶ月から数日へと劇的に短縮されます。

NVIDIA はまた、次世代のワールドモデルを推進するために協力する world model 構築者および AI 開発者（Agile Robots、Black Forest Labs、Generalist、LTX、Runway、Skild AI など）とのグローバルな協力体制である「NVIDIA Cosmos Coalition」も発表しました。

「マルチモーダル推論言語、ビジョン、およびワールドモデルにおける画期的な進展により、物理的 AI のビッグバンはもうすぐそこです」と NVIDIA の創設者兼 CEO であるジェンソン・ファン氏は述べています。「オープンでフロンティアのオムニモデルである Cosmos 3 ファミリーは、開発者が物理世界において知覚し、推論し、計画し、行動するロボットや自律走行車（AVs）、ビジョン AI を構築するための能力的な世代間飛躍を提供します。」

物理的 AI のための新アーキテクチャ

Cosmos 3 は、物理的 AI が抱える根本的な課題に取り組んでいます。すなわち、限られたトレーニングデータと断片的なシミュレーションスタックの中で、ロボットや自律走行車（AVs）、ビジョンエージェントが現実世界で一般化できるようにすることです。

このモデルの「トランスフォーマーの混合」アーキテクチャは、推論用トランスフォーマーと専門生成用トランスフォーマーを組み合わせることで、Cosmos 3 が動画や行動軌道を生成する前に、オブジェクト間の相互作用、運動、および時空間的関係を理解することを可能にします。

テキスト、画像、動画、音声、および行動軌跡にわたる数十億のサンプルを含む、最大級の多モーダル物理 AI データセットの一つでトレーニングされたこのモデルは、開発者に対して、より少ないデータと低いトレーニングコストで物理 AI システムを構築するための強力な事前学習済み基盤を提供します。

Cosmos 3 は以下のように利用できます：

• モーダリティ間で理解と推論を行うビジョン言語モデルとして。

• 物理環境をシミュレートし、トレーニングおよび評価のために未来の世界状態を予測する世界モデルまたは動画基盤モデルとして。

• 特定のタスクを実行するためにロボットを訓練するための世界行動モデルのバックボーンとして。

Cosmos 3 モデルは、物理 AI ベンチマークにおいて最先端の結果を提供します。オープンモデルの中では、世界生成精度において Artificial Analysis、Physics-IQ、PAI-Bench、および R-Bench で 1 位を獲得し、行動ポリシーにおいては RoboLab および RoboArena、ビジョン理解においては VANTAGE-Bench および TAR リーダーボードで首位を維持しています。

Cosmos 3 ラインナップは、物理 AI 開発の異なる段階に合わせて開発者に選択肢を提供します:

• Cosmos 3 Super は、最も高い物理学精度と生成品質を必要とするポストトレーニング用ロボットおよび自動運転車 (AV) モデル向けです。

• Cosmos 3 Nano は、数秒分の時間内で高品質な動画処理と行動推論を行うために設計されています。

• Cosmos 3 Edge は近日公開予定で、エッジにおけるリアルタイム推論に対応します。

Cosmos コーリションがオープンワールドモデル開発を加速****

Cosmos コーリションは、業界全体にわたるオープンワールドモデルの進展を目指し、世界モデル構築者、AI 開発者、物理 AI のリーダーによるグローバルな協力体制です。メンバーは Cosmos 3 テクノロジー、トレーニングツール、および大規模トレーニング用の NVIDIA DGX™ Cloud インフラストラクチャを利用しながら、モデル、研究、評価手法を貢献することができます。

創設メンバーには、Agile Robots、Black Forest Labs、Generalist、LTX、Runway、Skild AI が含まれています。オープンな環境で構築し、共有エコシステム全体に貢献することで、コーリションはより迅速なイノベーション、広範な相互運用性、および物理 AI におけるより急速な進展を可能にすることを目指しています。

開発者が Cosmos を活用

Cosmos プラットフォームは、NVIDIA の物理 AI スタックを支え、業界全体でのトレーニングおよび評価ワークフローの加速を実現しています。このプラットフォームには、ロボット工学、物理学、人間の動作、自動運転、倉庫安全、空間推論のための新しいデータセットが追加され、ニューラルシーン再構築、欠陥画像生成、動画拡張のための新たな 物理 AI エージェントスキル も提供されています。

物理 AI 開発者は、業界全体で Cosmos プラットフォーム上で構築を進めています。ロボット工学分野では Agile Robots、Doosan Robotics、LG エレクトロニクス、サムスン電子、Skild AI が、自動運転車（AV）分野では Li Auto が、ビジョン AI エージェント 分野では Centific、Fogsphere、Linker Vision、Milestone Systems、Yuan が、それぞれ産業用 AI やスマートスペースアプリケーションを推進しています。

利用可能性**

Cosmos 3 Super と Cosmos 3 Nano は現在利用可能であり、リアルタイム推論用の Cosmos 3 Edge もまもなく登場します。開発者は build.nvidia.com で Cosmos 3 を試したり、Hugging Face からオープンモデルをダウンロードしたり、Hugging Face Diffusers や GitHub のリソースを活用してモデルのカスタマイズや合成データの生成を行ったりできます。また、これらのモデルは NVIDIA NIM™ マイクロサービスとしてデプロイすることも可能です。

モデルビルダーおよびソフトウェアプロバイダーは、GitHub 上の物理 AI エージェントスキルを活用し、推論サービスやクラウドインフラストラクチャパートナーを通じて Cosmos のアクセス、カスタマイズ、デプロイを加速させることができます。主要な推論および合成データ生成ワークロードに対応するパートナーには、Baseten、CoreWeave、Microsoft Azure、Nebius、Deep Infra、そして Classmethod が含まれます。

*黄氏による基調講演を視聴し、*NVIDIA GTC Taipei* でさらに詳しく学び、これらの*物理 AI セッション* を探索してください。*