NVIDIA の新 AI が記憶する世界を構築

NVIDIA の新 AI「Cosmos」が描く、一枚の画像から広がる無限の世界

NVIDIA が発表した新しい AI システム「Cosmos（コスモス）」は、入力された一枚の静止画から、視点を変えても崩壊しない一貫性のあるインタラクティブな世界を構築する技術です。従来の動画生成 AI が時間の経過とともに矛盾を生じさせたり、世界が崩壊したりする課題に対し、独自の仕組みで「長期一貫性」を実現しました。

ロボットや自動運転車のシミュレーション、そしてゲーム開発において、膨大な実世界データの収集コストを劇的に削減し、デジタル世界の構築パラダイムを根本から変える可能性を秘めています。

3D メモリによる「崩壊しない世界」の秘密

従来の生成 AI は、画像を入力すると動画や 3D 空間を生成しますが、時間が経つにつれて物体が浮いたり、照明が不自然に変化したりする「長期一貫性」の問題に直面していました。人間が目を離して戻ったときに「あれ？さっきまでここにあったはずのものが消えている」と感じる現象です。

Cosmos がこの問題を解決した鍵は、フレームごとの 3D 幾何学キャッシュ（メモリ）にあります。

「世界全体をゼロから再生成するのではなく、シーンの一部を 3D メモリとして保持し、残りを一貫して再生成します」

これは、単に画像を繋ぎ合わせるのではなく、シーン内の物体の位置関係や形状（幾何学構造）を記憶しておく仕組みです。カメラが動いても、このメモリを参照することで「さっきまでここにあった壁は、今も同じ場所にあり続ける」という一貫性を保ちます。

従来の手法では、生成された画像をさらに入力して次のフレームを作る「コピーのコピー」の過程で誤差が蓄積し、最終的に世界が劣化していました。しかし Cosmos は、生成された各フレームを独立したパズルとして検証しながら、既存の 3D メモリと融合させることで、品質の低下を防いでいます。

コアは「拡散トランスフォーマー」、物理法則も理解する

このシステムの心臓部となっているのは「拡散トランスフォーマー」です。これは画像生成において高い精度を示す技術ですが、Cosmos では単なる画像合成にとどまりません。

入力された一枚の画像から、AI は以下の要素を自動的に理解・構築します。

• 物理法則: 物体がどのように動き、どう相互作用するか
• 照明と露出: 光の当たり方や影のつき方
• 深度マップ: 奥行き情報を含む空間構造

これにより、AI は単なる絵画を生成するのではなく、「もしカメラを動かしたらどう見えるか」や「物体に力を加えたらどうなるか」といったインタラクティブな世界を即座に構築します。ハンガリー南部の美しい風景から、安全なロボットトレーニング用のシミュレーション環境へと瞬時に変換できるのも、この理解力によるものです。

現状の限界と、オープンソース化がもたらす未来

しかし、現時点で Cosmos が完璧であるわけではありません。論文やデモでは、明確な技術的限界が示されています。

1. 静止シーンに限定: 現在は動くオブジェクト（歩行者や走る車など）への対応は困難です。世界全体を静的に構築する技術です。
2. 浮遊物の発生: 3D 幾何構造の計算ミスにより、物体が空中に浮いていたり、ノイズが発生したりする現象が見られます。
3. 学習データの依存: 照明の変化や環境の複雑さについては、学習データセットの質に大きく依存します。

それでも、この技術が持つインパクトは計り知れません。特にロボット学習や自動運転の開発において、現実世界で数百万回も走行してデータを収集するのではなく、Cosmos で生成された高品質なシミュレーションデータを活用することで、開発サイクルを劇的に加速できるからです。

「モデルとコードは無料で公開されています。試行錯誤したい人々にとって、これは素晴らしい時代です」

NVIDIA はこのシステムをオープンソース化しており、開発者や研究者が即座に実験・応用できる環境を整えています。動くオブジェクトへの対応や物理演算の精度向上という課題は残っていますが、静的なシーンにおいて驚異的な品質でデジタル世界を構築する能力は、すでにゲーム開発やメタバース分野でも大きなパラダイムシフトを引き起こす可能性があります。

一枚の画像から始まる、崩壊しない無限の世界。Cosmos は、その扉を今まさに開こうとしています。