Hugging Face、ナビゲーション対応型オムニモーダル世界モデル「EchoWM」を公開

記事の3ポイント

1. 1

   多様なメディアの統合生成

   EchoWM は視覚（720p ビデオ）、聴覚（環境音・音楽・音声）を同時に生成し、ユーザーの連続的なナビゲーション要求に応答する能力を持つ。

2. 2

   視点に依存しないインタラクション

   1 人称シーンでは観測者の動きを指定し、3 人称シーンではデータからカメラとキャラクターのダイナミクスを学習することで、ビュー固有のコントローラー不要な操作を実現する。

3. 3

   統一された軌道制御メカニズム

   離散的なコマンドと連続的なポーズを共通の計量スケール相対 6DoF 軌道にマッピングし、異種データセット間でも運動の大きさを保つためのキャリブレーションを行う。