言語指示による 3D モーション予測モデル「MolmoMotion」を発表

[記事一覧に戻る](https://huggingface.co/blog) - MolmoMotion: 内部構造の解説 - MolmoMotion-1M と PointMotionBench の紹介 - 実験とパフォーマンス：3D モーション予測 - 下流タスク評価：ロボティクス計画 - 下流タスク評価：動画生成 - 限界と今後の展望 🧠 モデル：[https://huggingface.co/collections/allenai/molmomotion](https://huggingface.co/collections/allenai/molmomotion) | 📄 テクニカルレポート：[https://allenai.org/papers/molmomotion](https://allenai.org/papers/molmomotion) | 📊 データセット：[https://huggingface.co/datasets/allenai/molmo-motion-1m](https://huggingface.co/datasets/allenai/molmo-motion-1m) | 💻 コード：[https://github.com/allenai/molmo-motion.git](https://github.com/allenai/molmo-motion.git) | 🌐 プロジェクトページ：[https://molmomotion.github.io/](https://molmomotion.github.io/) 機械は運動を知覚する能力において驚くほど向上しました。動画を与えられれば、現代のモデルは物体や点がシーン内をどのように移動するかを極めて高い信頼度で追跡できます。しかし、知覚という行為は本質的に回顧的なものです：それはすでに起こった運動を説明するものです。私たちが構築したい多くのシステムやアプリケーションは、むしろ「未来を見据える」必要があります。コップに手を伸ばすロボットは、触れる前にそのコップがどのように動くかを予測しなければなりません。物理的に妥当なフレームを生成するためには、動画生成モデルも次にどのような現実的な運動が続くのかを知っていなければなりません。 運動を予測することは、それを観察するよりも難しいですが、多くのシナリオでははるかに有用です。 この考えが、本日公開する新しい運動予測モデルである**[MolmoMotion](https://huggingface.co/collections/allenai/molmomotion)**の動機となりました。動画フレーム、物体上にマークされた 3D ポイント、そして意図する動作を記述したテキスト指示（例：「テーブルの上にある果物が入った木製のボウルを移動させ、回転させる」）が与えられた場合、MolmoMotion はこれらのポイントが未来の数秒間に 3D 空間上でどこへ移動するかを予測します。これは既存の予測手法よりも大幅に優れた性能を実現しています。 [動画を見る](https://stream.mux.com/tFUDQIEocknFyVAHy2uLFlSh9HMoXets/high.mp4) *RGB 観測データ、物体上の一連のクエリポイント、および動作記述が与えられた場合、MolmoMotion は物体の将来の 3D ポイント軌道を予測します。これらの予測された軌道は、その後のロボット計画や軌道条件付き動画生成などの応用を駆動するために使用できます。 モデルとともに、116 万本の動画から抽出された、動作記述とペアになった 3D ポイント軌道の最大規模コレクションである**[MolmoMotion-1M](https://huggingface.co/datasets/allenai/molmo-motion-1m)**も公開します。また、物体中心の 3D 運動予測精度を測定するために設計された人間検証済みベンチマークである**[PointMotionBench](https://huggingface.co/datasets/allenai/PointMotionBench)**（2,700 本の動画クリップを含む）も公開します。 MolmoMotion のような運動予測モデルは、ロボット計画から制御可能な動画生成に至るまで、さまざまな下流タスクにおいて有用であることがわかりました。私たちは、コミュニティが研究・改善・カスタマイズできるよう、モデルの重み、MolmoMotion-1M データセット、および PointMotionBench ベンチマークをオープンに公開します。 ## MolmoMotion: 内部構造 MolmoMotion は、運動を意図的かつ極めて効率的な方法で表現します。具体的には、世界空間における物体に付随する 3D ポイントとして表現し、フル動画のレンダリングコストをかけずに運動を捉えます。このアプローチを選んだのは、以下の 3 つの性質を持つ汎用的な運動表現が必要だったからです。 - クラス非依存：人間の体や手、剛体オブジェクト、あるいはその他の固定カテゴリに紐づくテンプレートに縛られないこと。 - 視点安定性：同じ物理的運動が、カメラや視点を変えても一貫して表現されること。 - 下流システムによる直接利用：物理的な運動について推論を必要とする下流システムでそのまま使用可能であること。 私たちが検討した表現の中で、これら 3 つの条件をすべて満たしたのはこれだけでした。表面点のスパースなセットは、移動するオブジェクトの種類を仮定することなく、剛体・関節運動・（一定の範囲内で）変形運動を記述できます。これらの点は共有された世界座標系に存在するため、カメラの動きや視点の変化に対してその軌道が安定します。また、これらは 3D 空間におけるコンパクトで明示的な軌道であるため、ロボットポリシーや動画生成モデルなどのシステムへ直接渡すことが可能です。 これらの軌道を予測するために、MolmoMotion は Molmo 2 をバックボーンとして使用し、画像内のオブジェクトやポイントと言語指示を結びつけることを可能にしています。短いビデオ履歴、アクションの説明、および初期の 3D 位置を持つ一連のクエリポイントを前提として、モデルはまず参照されているオブジェクト、クエリポイント、そして指示が記述する運動を特定します。その後、各ポイントの将来の 3D 軌道を予測します。 MolmoMotion の 2 つの変種を訓練しています: - オートレジレス変種（MolmoMotion-AR）は、未来の座標を段階的に予測します。これは VLM が使用する座標スタイルの予測に従い、3D 座標を構造化されたテキストとして表現し、時間順に未来の軌道を書き出します。各新しい座標がすでに生成された軌道に条件付けられているため、これは滑らかなロールアウトを促し、将来の経路が明確に定義されている場合に最も高い精度をもたらします。 - フローマッチング変種（MolmoMotion-FM）は、ノイズから運動への変換によって連続的な 3D 空間内で軌道を予測するため、指示が複数の妥当な未来を許容する場合の不確実性を表現するのに適しています。 *MolmoMotion のアーキテクチャ。Molmo 2 バックボーンへの共通入力には、RGB 観測の画像トークン、アクション記述のテキストトークン、および Molmo 2 ビジョンエンコーダからサンプリングされた 2D クエリポイント特徴トークンが含まれます。MolmoMotion-AR は初期の 3D クエリ座標を符号化し、未来の軌道を経量化された座標テキストとしてデコードしますが、MolmoMotion-FM はそれらを連続的な 3D 座標空間で直接表現します。 ## MolmoMotion-1M と PointMotionBench の紹介 MolmoMotion を訓練するには、まだ存在しなかったデータが必要でした：特定のオブジェクトに grounded（基盤付け）された 3D ポイント軌道を持ち、アクション記述とペアになった大規模なビデオです。既存の 3D-トラックデータセットは小規模でドメインが限定されており、インターネット上のビデオには MolmoMotion のような予測器に必要なスケールと多様性がすべて含まれていますが、3D アノテーションが含まれていませんでした。そこで、制約のないビデオからオブジェクト grounded な 3D 軌道を抽出する自動パイプラインを構築しました。 入力動画とその動作説明を基に、当社の注釈パイプラインはメトリックな世界座標系における物体 grounded な 3D ポイント軌道データを生成します。（以下の図では各工程を示しています。）課題となるのは、制約のない動画から得られる生トラッキングデータがノイズを含み、深度や追跡誤差によりポイントがジッターしたりドリフトしたりすること、および多くの物体が動画の大部分で静止している点です。データの信頼性を高めるため、物体の他の部分と一貫して移動しないポイントをフィルタリングし、残りの軌道を平滑化し、各クリップを物体が実際に運動するウィンドウにセグメント化します。 大規模にパイプラインを実行した結果、MolmoMotion-1M が得られました。これは現時点で収集された中で最大規模の、動作説明付きかつ物体 grounded な 3D ポイント軌道データのコーパスであり、736 の運動タイプと 5.6K の異なる物体にわたります。 [動画を見る](https://stream.mux.com/ESYTT69ckxwlqP7Cn02V1qYduekjvTW026/high.mp4) *当社のデータ注釈パイプラインの概要。動作イベントとその説明を持つ動画に対して、まず移動する物体を特定し、その上にクエリポイントをサンプリングします。次に、物体上の高密度な 2D ポイントを追跡し、これらのトラッキングデータを共通のメトリックな 3D フレームに変換（lift）し、物体レベルの空間的・時間的一貫性事前情報を用いて信頼性の低い軌道をフィルタリングします。最後に、特定された物体が意味のある運動を行う区間を中心に動画をクリップします。* *上部の指示：**テーブルの上にある果物が入った木製のボウルを動かし、回転させてください。** 下部の指示：**青い布の上にランナーローラーを転がしてください。*** *上部の指示：**銀色の車が道路に沿って走り、ゆっくりと右に曲がります。** 下部の指示：**フラミンゴが右へ歩きながら嘴を水に浸します。*** MolmoMotion の予測性能を評価するために、私たちは PointMotionBench を構築しました。これは保持された 3D 軌道に基づく人間検証済みベンチマークです。このベンチマークは、屋内での操作、自己中心の手と物体の相互作用、屋外の動的シーンを含む、111 の物体カテゴリと 61 の運動タイプにわたる 2.7K クリップをカバーしています。各クリップにおいて、モデルには現在の観測データ、物体クエリポイント、およびアクション記述が与えられ、予測された 3D ポイント軌道が物体の実際の未来運動とどれだけ正確に一致するかという点で評価されます。これにより、生成されたポイントトラックが単に妥当に見えるかどうかを頼りにするのではなく、3D 運動予測に対する直接的な定量的テストが可能になります。 ## 実験とパフォーマンス MolmoMotion を 3 つの観点から評価します。第一に、既存の方法よりも未来の 3D 運動をより正確に予測できるかという点です。第二に、運動に関する学習内容がロボットによる操作タスクの実行を支援できるかどうかという点です。第三に、同じ知識が生成された動画における運動のガイドとして機能し得るかどうかという点です。 ## 3D 運動予測 On PointMotionBench において、MolmoMotion は、ピクセル空間のビデオ生成器、パラメトリックな 3D 手法、単純な等速度ベースラインを含む、テストした既存のすべての 3D モーション予測手法を上回りました。これは多様なオブジェクト、シーン、アクションにわたる結果です。 MolmoMotion は、布地の上で lint roller が前後に動く様子や、テーブルの上でボウルが滑りながら回転する様子、水たまりの中でくちばしを浸しながら右へ歩くフラミンゴの動き、あるいはカーブする道路に沿って走る車の動きなど、多くの種類のオブジェクトおよびシーンのモーションを予測できます。いずれの場合も、予測された経路は MolmoMotion に対して与えられた指示に従い、ベンチマークにおけるグランドトゥルース（正解）モーションと極めて近い位置に留まります。 ## Downstream evaluation: robotics planning MolmoMotion が学習したモーションに関する知見は、異なる設定間でも転移可能です。人間の手でカップを持ち上げる行為とロボットグリッパーで持ち上げる行為は非常に異なりますが、カップ自体が 3D 空間を通る経路は類似しています。このため、オブジェクトを移動させる前にその動きを計画する必要があるロボティクスにおいて、MolmoMotion は自然な適合性を示します。 実世界のロボット操作ビデオの大規模オープンデータセットである DROID でファインチューニングを行った結果、MolmoMotion が幅広いロボット計画シナリオにおいて、異なるオブジェクト、カメラ視点、シーン、タスクに対して、合理的なオブジェクト経路を予測できることがわかりました。 [View video](https://stream.mux.com/K1wj01GkBAEVH9I5ME2z62j02WCJCYnAAr/high.mp4) [動画を見る](https://stream.mux.com/hwSRRuqjub4qivRJSfjNrJeXh7hzuHkG/high.mp4) *上部の指示：**「容器から布を取り出してください。」** 下部の指示：**「鍋の蓋を動かしてください。」*** シミュレーションにおいて、MolmoMotion を基盤とした制御ポリシーは、ピッキング＆プレースタスクの 76.3% で成功し、同じく Molmo 2 を基盤としたポリシーの 56.0% を上回ります。また学習速度も速く、10K トレーニングステップ後に 51% に達するのに対し、Molmo 2 バージョンは最大でも 19% で頭打ちになります。実機ロボット（ファインチューニング後）では、MolmoMotion は約 2K ステップで、Molmo 2 ベースラインが 12K トレーニングステップ後に達成するのと同じテスト L2 エラー値に到達します。 ## 下流タスク評価：動画生成 [動画を見る](https://stream.mux.com/LsZyR8f2PAp9opog1o02BlUGi02x27rUyR/medium.mp4) [動画を見る](https://stream.mux.com/S5T8i1WBNEAc3ZVXhRSYEH96QtzCTFrm/medium.mp4) [動画を見る](https://stream.mux.com/ulSaEQIo3XJKlT5JJMKKcBYHsAyQVxS9/medium.mp4) *指示：**「フラミンゴが右へ歩きながら嘴を水に浸します。」** 上から下へ：DaS + MolmoMotion、CogVideoX-5B、WAN-14B。 [動画を見る](https://stream.mux.com/IwNFj8I1HcIlyM1cGJ4qA02Em014xzpzHR/high.mp4) [動画を見る](https://stream.mux.com/ccUZyS7NFxkAwLH8OldRD27qfa96h6b9/high.mp4) [動画を見る](https://stream.mux.com/102ovjPjH00KTK3nWmRY02zcJy00bwXDWssH/high.mp4) *指示：**「テーブルから丸い茶色の皿を取ってください。」** 上から下へ：DaS + MolmoMotion、CogVideoX-5B、WAN-14B。 MolmoMotion が予測した経路は、ビデオ生成の誘導にも活用できます。テキスト指示のみから画像から動画へのモデルが動きを推測させるのではなく、MolmoMotion の予測結果を入力として与えることで、プロンプトでは曖昧にしか記述できない小さな精密な動きにおいても、要求された動作により忠実に従った生成ビデオを実現できます。 この効果を裏付ける指標もあります。動画生成器の誘導に用いた際、MolmoMotion は測定した 5 つの運動関連指標すべてにおいてベースモデルよりも運動品質を向上させ、さらにはるかに大規模な画像から動画へのモデルに対しては 5 つのうち 4 つで上回りました。 ## 限界と今後の展望 MolmoMotion は能力のあるモデルですが、いくつかの限界にも注意が必要です。トレーニング中は物体ごとに 8 つのクエリポイントを使用しており、有用な軌道を予測するには十分ですが、表面幾何学を密に表現するには不十分です。このため、複雑な変形運動への対応には制限が生じます。 私たちは、世界内の物体が動く「前に」その動きを予期する予測（forecasting）は、すでに存在するものを知覚することと同様に、機械知能にとって根本的な要素であると信じています。MolmoMotion はその一歩であり、カテゴリごとのテンプレートなしで物体カテゴリ全体に一般化し、通常の動画から学習され、PointMotionBench で測定した中で最も精度の高い 3D 運動予測器です。ロボット工学、ビデオ生成、そしてそれらを超えた分野において、多くの応用が現れることを期待しています。 MolmoMotion を試していただくために、[重みのダウンロード](https://huggingface.co/collections/allenai/molmomotion)、[トレーニングデータの検証](https://huggingface.co/datasets/allenai/molmo-motion-1m)、そして [PointMotionBench に対する当社の手法の評価](https://huggingface.co/datasets/allenai/PointMotionBench) をお勧めします。

言語指示による 3D モーション予測モデル「MolmoMotion」を発表

背景や根拠まで確認しますか？

調べる

選ぶ

サイト