NVIDIA が発表した新しい AI システム「Cosmos」は、入力された一枚の画像から、一貫性のあるインタラクティブな世界を生成する技術です。従来の動画生成が時間の経過とともに破綻する問題に対し、フレームごとの 3D 幾何学キャッシュ（メモリ）を活用することで、視点を変えても同じ世界を再現できる仕組みを実現しています。 この技術は、ロボットや自動運転車のシミュレーションデータ作成に不可欠な「長期一貫性」の課題を解決し、静的なシーンにおいて驚異的な品質でデジタル世界を構築します。ただし、現在は動くオブジェクトへの対応や複雑な物理演算には限界があり、さらなる発展が期待される段階です。 この技術はオープンソース化されており、開発者や研究者が即座に実験・応用できる点も大きな特徴です。
「記憶する世界」という概念は、現在の生成 AI の限界である「時間的破綻」を克服する重要な転換点です。開発者や研究者にとって、即座に試せるオープンソース技術として注目すべき動画です。
- 01
3D メモリによる一貫性維持
単なる画像生成ではなく、フレームごとの 3D 幾何学キャッシュを保持することで、視点移動後も世界の一貫性を保つ。
- 02
Cosmos システムの仕組み
拡散トランスフォーマーをコアに持ち、入力画像から物理法則や照明を理解したインタラクティブな世界を構築する。
- 03
長期一貫性の課題解決
過去の生成物との矛盾（浮遊物など）を防ぎ、時間経過による品質劣化を抑制する新アプローチを採用。
- 04
現状の技術的限界
現在は静的なシーンに限定されており、動くオブジェクトや複雑な物理現象への対応は今後の課題となっている。
この技術は、ロボット学習や自動運転シミュレーションにおいて、膨大な実世界データを収集・生成するコストを劇的に削減し、開発サイクルの加速に寄与します。また、ゲーム開発やメタバース分野においても、手作業なしで高品質な 3D 環境を瞬時に構築できるため、コンテンツ制作のパラダイムシフトを引き起こす可能性があります。