Hugging Face、物理・空間理解統合の多モーダルモデル「Puffin-World」発表

記事の3ポイント

1. 1

   ネイティブな3次元世界状態の統合モデリング

   Puffin-World は重力場や緯度などの物理、奥行きなどの幾何学、画像の外観を、外部オフラインモジュールに依存せず単一のアーキテクチャ内で同時にモデル化する。

2. 2

   ユニファイド・オムニカメラと物理ダイナミクスの伝播

   多様なタスクや柔軟な動きに対応する「Omni-Camera」表現を導入し、未来のフレームにわたって物理的ダイナミクスを伝播させる戦略を実装している。

3. 3

   大規模データセット Puffin-16M の構築

   複雑なシナリオへのスケーリングを目指し、1500 万組のビジョン・言語・カメラトリプルスと 100 万件の多様な動きを含む軌跡データからなる「Puffin-16M」を構築した。