Hugging Face、ナビゲーション対応型オムニモーダル世界モデル「EchoWM」を公開

私たちは、連続的なナビゲーションに応答しながら 720p の映像、環境音、音楽、発話を同時に生成する、没入型の生成メディア向けオムニモーダル・ワールドモデル「EchoWM」を発表します。本モデルのインタラクションはカメラの意図を中心に構成されており、一人称シーンでは観測者の動きを指定し、三人称シーンでは特定の視点に依存しないコントローラーを用いてデータからカメラとキャラクターのダイナミクスを学習します。

離散的なコマンドと連続的なポーズは、共通のメトリックスケールを持つ相対的な 6-DoF 軌道に変換され、異種データ間での運動量の大きさを保つためにデータセットレベルでのキャリブレーションが行われます。音声・映像生成と軌道制御を同時に学習させるため、補完的なデータエンジンを用意し、段階的なトレーニングに続いて長期的な生成を実現する自己回帰型のポストトレーニングを採用しました。

広範な評価により、本モデルは公認のワールドモデルベンチマークにおいて優れた軌道追従性能と高い視覚品質を示すことが確認されました。多様な被写体に対応し、一人称・三人称の両方のインタラクションをサポートするとともに、長時間にわたる生成においても環境音と発話の同期を維持します。