MolmoMotion：言語指示に基づく 3D モーション予測技術の発表

[記事一覧に戻る](https://huggingface.co/blog) - MolmoMotion: 内部構造の解説 - MolmoMotion-1M と PointMotionBench の紹介 - 実験とパフォーマンス：3D モーション予測 - 下流タスク評価：ロボティクス計画 - 下流タスク評価：動画生成 - 限界と今後の展望 🧠 モデル：[https://huggingface.co/collections/allenai/molmomotion](https://huggingface.co/collections/allenai/molmomotion) | 📄 テクニカルレポート：[https://allenai.org/papers/molmomotion](https://allenai.org/papers/molmomotion) | 📊 データセット：[https://huggingface.co/datasets/allenai/molmo-motion-1m](https://huggingface.co/datasets/allenai/molmo-motion-1m) | 💻 コード：[https://github.com/allenai/molmo-motion.git](https://github.com/allenai/molmo-motion.git) | 🌐 プロジェクトページ：[https://molmomotion.github.io/](https://molmomotion.github.io/) 機械は運動を知覚する能力において驚くほど向上しました。動画を与えられれば、現代のモデルは物体や点がシーン内をどのように移動するかを極めて高い信頼度で追跡できます。しかし、知覚という行為は本質的に回顧的なものです：それはすでに起こった運動を説明するものです。私たちが構築したい多くのシステムやアプリケーションは、むしろ「未来を見据える」必要があります。コップに手を伸ばすロボットは、触れる前にそのコップがどのように動くかを予測しなければなりません。物理的に妥当なフレームを生成するためには、動画生成モデルも次にどのような現実的な運動が続くのかを知っていなければなりません。 動きを予測することは、それを観察するよりも難しいですが、多くのシナリオでははるかに有用です。 この考えが、本日公開する新しい運動予測モデルである**[MolmoMotion](https://huggingface.co/collections/allenai/molmomotion)**の動機となりました。動画フレーム、物体上にマークされた 3D ポイント、そして意図的な動作を記述したテキスト指示（例：「テーブルの上で果物が入った木製のボウルを移動させ、回転させる」）が与えられた場合、MolmoMotion はこれらのポイントが未来の数秒間に 3D 空間内でどこへ移動するかを予測し、既存の予測手法よりも大幅に優れた性能を実現します。 [動画を見る](https://stream.mux.com/tFUDQIEocknFyVAHy2uLFlSh9HMoXets/high.mp4) *RGB 観測データ、物体上の一連のクエリポイント、および動作記述が与えられた場合、MolmoMotion は物体の将来の 3D ポイント軌道を予測します。これらの予測された軌道は、その後、ロボティクス計画や軌道条件付き動画生成などの下流アプリケーションを駆動するために使用できます。 モデルとともに、116 万本の動画から抽出された、動作記述とペアになった 3D ポイント軌道の最大規模コレクションである**[MolmoMotion-1M](https://huggingface.co/datasets/allenai/molmo-motion-1m)**も公開します。また、物体中心の 3D 運動予測精度を測定するために設計された人間検証済みベンチマークである**[PointMotionBench](https://huggingface.co/datasets/allenai/PointMotionBench)**（2,700 本の動画クリップを含む）も公開します。 MolmoMotion のような運動予測モデルは、ロボット計画から制御可能な動画生成に至るまで、さまざまな下流タスクにおいて有用であることがわかりました。私たちは、コミュニティが研究・改善・カスタマイズできるよう、モデルの重み、MolmoMotion-1M データセット、および PointMotionBench ベンチマークを公開します。 ## MolmoMotion: 内部構造 MolmoMotion は、運動を意図的かつ極めて効率的な方法で表現します。具体的には、世界空間における物体に付随する 3D ポイントとして表現し、フル動画のレンダリングコストをかけずに運動を捉えます。私たちはこのアプローチを選んだのは、以下の三つの性質を持つ汎用的な運動表現が必要だったからです。 - クラス非依存：人間の体や手、剛体オブジェクト、あるいはその他の固定カテゴリに紐づくテンプレートに縛られないこと。 - 視点安定性：同じ物理的運動が、カメラや視点の変化に関わらず一貫して表現されること。 - 下流システムによる直接利用：物理的な運動について推論を必要とする下流システムで直接使用可能であること。 私たちが検討した表現の中で、これら三つの条件をすべて満たしたのはこれだけでした。表面の限られた数のポイントセットは、移動するオブジェクトの種類を仮定することなく、剛体・関節付き・（一定の範囲内で）変形する運動を記述できます。ポイントは共有された世界座標系に存在するため、カメラの動きや視点の変化に対してその軌道が安定します。また、これらは 3D 空間におけるコンパクトで明示的な軌道であるため、ロボットポリシーや動画生成モデルなどのシステムに直接渡すことが可能です。 これらの軌道を予測するために、MolmoMotion は Molmo 2 をバックボーンとして使用し、画像内のオブジェクトやポイントと言語指示を結びつけることを可能にします。短い動画履歴、アクションの説明、および初期の 3D 位置を持つ一連のクエリポイントが与えられた場合、モデルはまず参照されているオブジェクト、クエリポイント、そして指示が記述する運動を特定します。その後、各ポイントの将来の 3D 軌道を予測します。 MolmoMotion の 2 つの変種を訓練しています: - オートレジレス変種（MolmoMotion-AR）は、未来の座標を段階的に予測します。これは VLM が使用する座標スタイル予測に従い、3D 座標を構造化されたテキストとして表現し、時間順に未来の軌道を書き出します。各新しい座標がすでに生成された軌道に条件付けられているため、これは滑らかなロールアウトを促し、将来の経路が明確に定義されている場合に最も高い精度をもたらします。 - フローマッチング変種（MolmoMotion-FM）は、ノイズから運動への変換によって連続的な 3D 空間内で軌道を予測するため、指示が複数の妥当な未来を許容する場合の不確実性を表現するのに適しています。 *MolmoMotion のアーキテクチャ。Molmo 2 バックボーンへの共通入力には、RGB 観測の画像トークン、アクション記述のテキストトークン、および Molmo 2 ビジョンエンコーダからサンプリングされた 2D クエリポイント特徴トークンが含まれます。MolmoMotion-AR は初期の 3D クエリ座標を符号化し、未来の軌道を量子化された座標テキストとしてデコードしますが、MolmoMotion-FM はそれらを連続的な 3D 座標空間で直接表現します。 ## MolmoMotion-1M と PointMotionBench の紹介 MolmoMotion を訓練するには、まだ存在しなかったデータが必要でした：特定のオブジェクトに grounded（根付いた）された 3D ポイント軌道を持ち、アクション記述とペアになった大規模なビデオです。既存の 3D-トラックデータセットは小規模でドメインが限定されており、インターネット上のビデオには MolmoMotion のような予測器に必要なスケールと多様性がすべて含まれていますが、3D アノテーションが含まれていませんでした。そこで、制約のないビデオからオブジェクトに grounded な 3D 軌道を抽出する自動パイプラインを構築しました。 入力動画とその動作説明に基づき、当社の注釈パイプラインは、メトリックな世界座標系における物体に紐付いた 3D ポイントの軌道データを生成します。（以下の図では各工程を示しています。）課題となるのは、制約のない動画から得られる生データがノイズを含み、奥行きや追跡誤差によりポイントがジッターしたりドリフトしたりすること、そして多くの場合、物体は動画の大部分で静止していることです。データの信頼性を高めるため、物体の他の部分と一貫して移動しないポイントを除外し、残りの軌道を平滑化処理した上で、実際に物体が動く区間のみを各クリップから切り出します。 大規模にパイプラインを実行した結果、MolmoMotion-1M が生成されました。これは、動作説明付きで物体に紐付いた 3D ポイント軌道データとして、現時点までに収集された中で最大規模のコーパスであり、736 の運動タイプと 5.6K の異なる物体を網羅しています。 [動画を見る](https://stream.mux.com/ESYTT69ckxwlqP7Cn02V1qYduekjvTW026/high.mp4) *当社のデータ注釈パイプラインの概要。動作イベントとその説明を含む動画に対して、まず移動する物体を特定し、その上にクエリポイントをサンプリングします。次に、物体上の高密度な 2D ポイントを追跡し、これらの軌道を共通のメトリックな 3D フレームに変換（リフト）します。その後、物体レベルの空間的・時間的一貫性に関する事前知識を用いて信頼性の低い軌道データをフィルタリングします。最後に、特定された物体が意味のある運動を行う区間を中心に動画をクリップします。* *トップの指示：**テーブルの上の果物が入った木製のボウルを動かし、回転させてください。** ボトムの指示：**青い布の上にランナーローラーを転がしてください。*** *トップの指示：**銀色の車が道路に沿って走り、ゆっくりと右に曲がります。** ボトムの指示：**フラミンゴが右へ歩きながら嘴を水に浸します。*** MolmoMotion の予測性能を評価するため、私たちは PointMotionBench を構築しました。これは保持された 3D 軌道に基づく人間検証済みベンチマークです。このベンチマークは屋内での操作、自己中心の手と物体の相互作用、屋外の動的シーンを含む、111 の物体カテゴリと 61 の運動タイプにわたる 2.7K クリップを網羅しています。各クリップにおいて、モデルには現在の観測値、物体クエリポイント、および動作記述が与えられ、予測された 3D ポイント軌道が物体の実際の未来運動とどれだけ正確に一致するかが評価されます。これにより、生成されたポイントトラックが単に妥当に見えるかどうかという根拠に頼るのではなく、3D 運動予測に対する直接的な定量的テストが可能になります。 ## 実験と性能 MolmoMotion を 3 つの観点から評価します。第一に、既存手法よりも未来の 3D 運動をより正確に予測できるかどうかを検証します。第二に、運動に関する学習内容がロボットによる操作タスクの実行を支援できるかどうかを検証します。第三に、同じ知識が生成された動画における動作誘導に役立つかどうかを検証します。 ## 3D 運動予測 On PointMotionBench において、MolmoMotion は、ピクセル空間のビデオ生成器、パラメトリックな 3D 手法、単純な等速度ベースラインを含む、テストした既存のすべての 3D モーション予測手法を上回りました。これは多様なオブジェクト、シーン、アクションにわたる結果です。 MolmoMotion は、布地の上で lint roller が前後に動く様子や、テーブルの上でボウルが滑りながら回転する様子、水たまりの中でくちばしを浸しながら右へ歩くフラミンゴの様子、あるいはカーブする道路に沿って車が移動する様子など、さまざまな種類のオブジェクトおよびシーンの動きを予測できます。いずれの場合も、予測された経路は MolmoMotion に対して与えられた指示に従い、ベンチマークにおける真の運動（ground truth motion）と極めて近い位置に留まります。 ## Downstream evaluation: robotics planning MolmoMotion が学習したモーション情報は、異なる設定間でも転移可能です。人間の手でカップを持ち上げる行為とロボットグリッパーで持ち上げる行為は非常に異なりますが、カップ自体が 3D 空間を通る経路は類似しています。このため、オブジェクトを移動させる前にその動きを計画する必要があるロボティクスにおいて、MolmoMotion は自然な適合性を示します。 実世界のロボット操作ビデオの大規模オープンデータセットである DROID でファインチューニングを行った結果、MolmoMotion が幅広いロボット計画シナリオにおいて、異なるオブジェクト、カメラ視点、シーン、タスクに対して、合理的なオブジェクト経路を予測できることがわかりました。 [View video](https://stream.mux.com/K1wj01GkBAEVH9I5ME2z62j02WCJCYnAAr/high.mp4) [動画を見る](https://stream.mux.com/hwSRRuqjub4qivRJSfjNrJeXh7hzuHkG/high.mp4) *上部の指示：**「容器から布を取り出してください。」** 下部の指示：**「鍋の蓋を動かしてください。」*** シミュレーションにおいて、MolmoMotion を基盤とした制御ポリシーは、ピッキング＆プレースタスクの 76.3% で成功し、同じく Molmo 2 を基盤としたポリシーの 56.0% を上回ります。また学習速度も速く、10K トレーニングステップ後に 51% に達するのに対し、Molmo 2 バージョンは最大でも 19% で頭打ちになります。実機ロボット（ファインチューニング後）では、MolmoMotion は約 2K ステップで、Molmo 2 ベースラインが 12K トレーニングステップ後に達成するのと同じテスト L2 エラー値に到達します。 ## 下流タスク評価：動画生成 [動画を見る](https://stream.mux.com/LsZyR8f2PAp9opog1o02BlUGi02x27rUyR/medium.mp4) [動画を見る](https://stream.mux.com/S5T8i1WBNEAc3ZVXhRSYEH96QtzCTFrm/medium.mp4) [動画を見る](https://stream.mux.com/ulSaEQIo3XJKlT5JJMKKcBYHsAyQVxS9/medium.mp4) *指示：**「フラミンゴが右へ歩きながら嘴を水に浸します。」** 上から下へ：DaS + MolmoMotion、CogVideoX-5B、WAN-14B。 [動画を見る](https://stream.mux.com/IwNFj8I1HcIlyM1cGJ4qA02Em014xzpzHR/high.mp4) [動画を見る](https://stream.mux.com/ccUZyS7NFxkAwLH8OldRD27qfa96h6b9/high.mp4) [動画を見る](https://stream.mux.com/102ovjPjH00KTK3nWmRY02zcJy00bwXDWssH/high.mp4) *指示：**「テーブルから丸い茶色の皿を取ってください。」** 上から下へ：DaS + MolmoMotion、CogVideoX-5B、WAN-14B。 MolmoMotion が予測した経路は、ビデオ生成の制御にも活用できます。テキスト指示のみから画像から動画へのモデルが動きを推測させるのではなく、MolmoMotion の予測結果を入力として与えることで、プロンプトでは曖昧にしか記述できない小さな精密な動きにおいても、要求された動作により忠実に従う生成されたビデオを実現できます。 この効果を裏付ける指標もあります。動画生成器のガイドとして使用した場合、MolmoMotion は測定した 5 つの運動関連指標すべてにおいてベースモデルよりも運動品質を向上させ、さらにはるかに大きな画像から動画へのモデルに対しては 5 つのうち 4 つで上回っています。 ## 制限事項と今後の展望 MolmoMotion は能力のあるモデルですが、いくつかの制限事項にも注意が必要です。トレーニング中はオブジェクトあたり 8 つのクエリポイントを使用しており、有用な軌道を予測するには十分ですが、表面幾何学を密に表現するには不十分です。このため、複雑な変形運動への対応には限界があります。 私たちは、世界内の物体が動く「前に」その動きを予測する予測（forecasting）は、すでに存在するものを知覚することと同様に、機械知能にとって根本的な要素であると信じています。MolmoMotion はその一歩であり、カテゴリごとのテンプレートなしでオブジェクトカテゴリ全体に一般化し、通常の動画から学習され、PointMotionBench で測定した中で最も正確な 3D 運動予測器です。ロボット工学、ビデオ、そしてそれ以上の分野において、多くの応用が今後現れることを期待しています。 MolmoMotion の重み [ダウンロード](https://huggingface.co/collections/allenai/molmomotion)、トレーニングデータ [確認](https://huggingface.co/datasets/allenai/molmo-motion-1m)、そして PointMotionBench に対する当社の手法の評価 [実施](https://huggingface.co/datasets/allenai/PointMotionBench) を通じて、ぜひ MolmoMotion をお試しください。

MolmoMotion：言語指示に基づく 3D モーション予測技術の発表

背景や根拠まで確認しますか？

調べる

選ぶ

サイト