Hugging Face、物理・空間理解統合の多モーダルモデル「Puffin-World」発表

私たちは、外部のオフラインモジュールに依存することなく、物理的理解、空間シミュレーション、3D 世界の生成と再構築を統合した統一型マルチモーダルアーキテクチャ「Puffin-World」を提案します。3D 世界を確実に構築し、対話するためには、物理（重力場や緯度）、幾何学（深度）、外観（画像）という 3 つのネイティブな世界状態と、多様なタスクや柔軟な動作に対応する統一された Omni-Camera 表現を同時にモデル化する必要があります。これらの状態を記述するだけでなく、未来のフレームにわたって物理的ダイナミクスを伝播させる戦略も導入しました。絶対的なカメラ特性を実世界の基準に grounding することで、Puffin-World は物理的に整合性があり、視覚的にも安定した世界生成を実現します。さらに、外観と幾何学を単一の生成プロセス内で結合し、未来の各ビューを同時に合成しながら、その背後にある幾何構造も再構築します。この統一されたパラダイムにより、模倣や自己較正による世界探索など、複数のタスク間の連携が求められるインタリーブ型クローズドループアプリケーションが可能になります。

Puffin-World を複雑なシナリオにスケールさせるため、1500 万組のビジョン・言語・カメラのトリプルと、多様で挑戦的な動きを含む 100 万本のトラジェクトリからなる「Puffin-16M」を構築しました。この分野の研究をさらに促進するため、コード、モデル、およびデータセットを公開します。