MolmoMotion：言語指示に基づく 3D モーション予測モデルの公開

機械は運動を認識する能力において驚くほど優れています。動画を与えられれば、現代のモデルは物体や点がシーン内をどのように移動するかを極めて高い信頼度で追跡できます。しかし、知覚は本質的に回顧的なものです：それはすでに起こった運動を説明するに過ぎません。私たちが構築したい多くのシステムやアプリケーションは、** *未来* を見据える必要があります**。コップに手を伸ばすロボットは、触れる前にそのコップがどのように動くかを予測しなければなりません。物理的に妥当なフレームを生成するためには、動画生成モデルは次にどのような現実的な運動が続くのかを知る必要があるのです。** 運動を予測することは、それを観察するよりも困難ですが、多くのシナリオにおいてさらに有用です。 この考え方が、本日公開する新しい運動予測モデル [MolmoMotion](https://huggingface.co/collections/allenai/molmomotion) の動機となりました。動画フレーム、物体上にマークされた 3D 点、そして意図する動作を記述した文章（例：「テーブルの上の果物が入った木製ボウルを移動させ、回転させる」）が与えられれば、MolmoMotion はこれらの点が未来の数秒間にわたって 3D 空間内でどこに移動するかを予測します。これは既存の予測手法よりも大幅に優れた性能を実現しています。 RGB の観測データ、物体上の一連のクエリ点、および動作記述が与えられれば、MolmoMotion は物体の未来の 3D 点軌道を予測します。これらの予測された軌道は、ロボット計画や軌道条件付き動画生成などの下流アプリケーションを駆動するために利用できます。 モデルとともに、116 万本の動画から抽出された、アクション記述とペアになった 3D ポイント軌跡の最大規模コレクションである [MolmoMotion-1M](https://huggingface.co/datasets/allenai/molmo-motion-1m) を公開します。また、オブジェクト中心の 3D モーション予測精度を測定するために設計された人間検証済みベンチマークである [PointMotionBench](https://huggingface.co/datasets/allenai/PointMotionBench)（2.7K の動画クリップを含む）も公開いたします。 MolmoMotion などのモーション予測器は、ロボット計画から制御可能なビデオ生成に至るまで、さまざまな下流タスクで有用であることがわかりました。コミュニティが研究し、改善し、カスタマイズできるよう、モデルの重み、MolmoMotion-1M データセット、および PointMotionBench ベンチマークをオープンに公開します。 ## MolmoMotion: 内部構造 MolmoMotion は、世界空間におけるオブジェクトに付随する 3D ポイントとして、意図的で非常に効率的な方法でモーションを表します。これは、フルビデオのレンダリングコストをかけずにモーションを捉えるためです。このアプローチを選んだのは、以下の 3 つの性質を持つ汎用的なモーション表現が必要だったからです： - クラス非依存：人間の体、手、剛体オブジェクト、またはその他の固定カテゴリに対するテンプレートに縛られない。 - 視点安定性：同じ物理的運動は、カメラや視点が変わっても一貫して表現されるべきである。 - 物理的運動について推論する必要がある下流システムで直接利用可能。 私たちが検討した表現の中で、これら3 つの条件をすべて満たしたのはこれだけだった。表面点のスパースなセットは、移動中のオブジェクトの種類を仮定することなく、剛体、関節付き、および（一定の範囲内で）変形する運動を記述できる。なぜなら、これらの点は共有された世界座標系に存在するため、カメラの動きや視点の変化に対してその軌道が安定したままになるからだ。また、これらは 3D 空間におけるコンパクトで明示的な軌道であるため、ロボットポリシーや動画生成モデルなどのシステムに直接渡すことができる。 これらの軌道を予測するために、MolmoMotion は Molmo 2 をバックボーンとして使用し、画像内の言語指示とオブジェクトおよび点を結びつけることを可能にする。短いビデオ履歴、アクションの説明、および初期の 3D 位置を持つ一連のクエリ点を入力として受け取ると、モデルはまず、参照されているオブジェクト、クエリ点、そして指示が記述する運動を特定する。その後、各点の将来の 3D 軌道を予測する。 MolmoMotion の 2 つの変種を訓練した： - 自己回帰型バリアント（MolmoMotion-AR）は、未来の座標を段階的に予測します。これは VLM が使用する座標スタイル予測に従い、3D 座標を構造化されたテキストとして表現し、時間順に未来の軌道を書き出します。各新しい座標がすでに生成された軌道に条件付けられるため、このアプローチは滑らかなロールアウトを促し、未来の経路が明確に定義されている場合に最も高い精度を発揮します。 - フローマッチング型バリアント（MolmoMotion-FM）は、ノイズから運動へ変換することで連続的な 3D 空間上で軌道を予測するため、指示によって複数の妥当な未来が存在する場合の不確実性を表現するのに適しています。 ## MolmoMotion-1M と PointMotionBench の紹介 MolmoMotion を訓練するには、まだ存在しなかったデータが必要でした。すなわち、特定のオブジェクトに grounded された 3D ポイント軌道を持ち、アクション記述とペアになった大規模動画です。既存の 3D トラックデータセットは小規模でドメインが限定されており、インターネット上の動画には MolmoMotion のような予測器に必要なスケールと多様性がすべて含まれていますが、3D アノテーションが含まれていませんでした。そこで、制約のない動画からオブジェクト grounded な 3D 軌道を抽出する自動パイプラインを構築しました。 入力動画とその動作説明を元に、当社の注釈パイプラインは、メトリックな世界座標系における物体に紐付いた 3D ポイントの軌道データを生成します。（以下の図では各工程を示しています。）課題となるのは、制約のない動画から得られる生データがノイズを含み、奥行きや追跡エラーによりポイントがジッターしたりドリフトしたりすること、そして多くの場合、物体は動画の大部分で静止していることです。データの信頼性を高めるため、物体の他の部分と一貫して移動しないポイントを除外し、残りの軌道を平滑化し、各クリップを物体が実際に動き出すウィンドウにセグメント化します。 大規模にパイプラインを実行した結果、MolmoMotion-1M が生成されました。これは、動作説明付きで物体に紐付いた 3D ポイント軌道データとして、現時点までに収集された中で最大のコーパスであり、736 の運動タイプと 5.6K の異なる物体を網羅しています。 当社のデータ注釈パイプラインの概要。動作イベントとその説明を持つ動画に対して、まず移動する物体を特定し、その上にクエリポイントをサンプリングします。次に、物体上の高密度な 2D ポイントを追跡し、これらの軌道を共通のメトリックな 3D フレームに昇華させ、物体レベルの空間的・時間的一貫性事前知識を用いて信頼性の低い軌道をフィルタリングします。最後に、特定された物体が意味のある運動を行う区間を中心に動画をクリップします。 左側の指示：**「テーブルの上で果物が入った木製のボウルを移動させて回転させなさい。」** 右側の指示：**「青い布の上でホコリ取りローラーを転がしなさい。」** 左側の指示：**「銀色の車が道路に沿って進み、ゆっくりと右に曲がる。」** 右側の指示：**「フラミンゴが右へ歩きながら嘴を水に浸す。」** MolmoMotion の予測性能を評価するために、私たちは PointMotionBench を構築しました。これは保持された 3D 軌道（trajectories）に基づく人間検証済みベンチマークです。このベンチマークは、屋内での操作、主観的視点における手と物体の相互作用、屋外の動的シーンを含む、111 の物体カテゴリと 61 の運動タイプにわたる 2.7K クリップを網羅しています。各クリップにおいて、モデルには現在の観測データ、物体クエリポイント（object query points）、および動作記述が与えられ、予測された 3D ポイント軌道が物体の実際の未来運動とどれだけ正確に一致するかという点で評価されます。これにより、生成されたポイントトラックが単に見た目が妥当かどうかを頼りにするのではなく、3D 運動予測に対する直接的な定量的テストが可能となります。 ## 実験と性能 MolmoMotion の評価は 3 つの側面から行われます。第一に、既存の方法よりも未来の 3D 運動をより正確に予測できるかどうかを検証します。第二に、運動に関する学習がロボットによる操作タスクの実行を支援できるかどうかを試験します。第三に、同じ知識が生成された動画における運動を誘導する助けとなるかどうかを検証します。 ## 3D 運動予測 PointMotionBench において、MolmoMotion はテストしたすべての既存の 3D 運動予測手法（ピクセル空間ビデオジェネレーター、パラメトリック 3D 手法、単純な等速度ベースラインを含む）を上回りました。これは多様な物体、シーン、動作にわたる結果です。 MolmoMotion は、ランナーが布の上を前後に動く様子や、ボウルがテーブル上で滑りながら回転する様子、フラミンゴが水たまりでくちばしを浸しながら右へ歩く様子、あるいは車がカーブしながら道路に沿って進む様子など、さまざまな物体やシーンの動きを予測することができます。どのケースにおいても、MolmoMotion が受け取った指示に従って予測された経路は、ベンチマークにおける実際の運動（グランドトゥルース）と極めて近い位置に収まります。 PointMotionBench ベンチマーク結果 棒グラフは、PointMotionBench における分割ごとの 3D 平均変位誤差（メートル単位）を示しています。数値が小さいほど優れています。 HOT3D MolmoMotion-AR (3f)0.109 ObjectForesight0.129 MolmoMotion-FM (3f)0.135 MolmoMotion-AR (1f)0.157 Extrapolate baseline0.159 EgoScaler0.170 Static baseline0.180 MolmoMotion-FM (1f)0.183 Wan2.2-5B0.200 Robot4DGen0.212 Cosmos Predict0.225 Track2Act0.294 WorldTrack MolmoMotion-AR (3f)0.143 MolmoMotion-AR (1f)0.148 MolmoMotion-FM (3f)0.158 MolmoMotion-FM (1f)0.165 Static baseline0.167 Extrapolate baseline0.184 Robot4DGen0.548 Cosmos Predict0.831 Wan2.2-5B0.852 Track2Act1.230 DAVIS MolmoMotion-AR (1f)1.146 MolmoMotion-AR (3f)1.227 MolmoMotion-FM (1f)1.380 MolmoMotion-FM (3f)1.480 Robot4DGen2.120 Static baseline2.281 Extrapolate baseline2.683 Wan2.2-5B3.074 Cosmos Predict4.191 Track2Act4.853 出典：MolmoMotion 論文、表 1—PointMotionBench における 3D ポイント軌道予測。MolmoMotion (3f) および (1f) はそれぞれ 3 フレーム入力および単一フレーム入力の変種を示す。ObjectForesight と EgoScaler の結果は HOT3D データセットのみで報告されている（表 1 の他の箇所では報告されていない）。Static は各 3D ポイントを固定状態に保ち、Extrapolate は過去のフレームからの運動を線形に前方へ投影する手法である。 下流評価：ロボティクス計画 MolmoMotion が学習した運動に関する知見は、異なる設定間でも転移可能である—人間の手でコップを持ち上げるのと、ロボットグリッパーで持ち上げるのは非常に異なる動作だが、コップ自体が 3D 空間を通過する経路は類似している。この特性により、MolmoMotion はロボティクスにおいて自然な適合性を有する。なぜなら、ロボットは物体を移動させる前に、その物体がどのように動くべきかを計画する必要があるからである。 大規模なオープンデータセット DROID（実世界のロボット操作動画を含む）上でファインチューニングを行った結果、MolmoMotion は多様なロボティクス計画シナリオにおいて、異なる物体、カメラ視点、シーン、タスクにわたって妥当な物体経路を予測できることが確認された。 左側の指示：**「容器から布を取り出してください。」** 右側の指示：**「鍋の蓋を動かしてください。」** シミュレーションにおいて、MolmoMotion を基盤とした制御ポリシーは、ピッキング＆プレイスタスクの 76.3% で成功するのに対し、同じく Molmo 2 を基盤としたポリシーでは 56.0% です。また学習速度も速く、10K トレーニングステップ後に 51% に達しますが、Molmo 2 バージョンは最大でも 19% に留まります。 実機ロボット（ファインチューニング後）では、MolmoMotion は、Molmo 2 ベースラインが 12K トレーニングステップを要して到達するのと同じテスト L2 エラー値を、わずか約 2K ステップで達成します。 MolmoMotion はロボティクスプランニングを改善します 同じ MolmoBot ポリシーですが、バックボーンの初期化が異なります。クローズドループでの成功率が高いほど優れています。 MolmoMotion 初期化 Molmo 2 初期化 サンプル効率 10K ステップ時の成功率 最終的なクローズドループ成功率 既知のシーン・既知のオブジェクト85.0 70.0 既知のシーン・未知のオブジェクト74.5 51.2 未知のシーン・既知のオブジェクト72.0 50.0 未知のシーン・未知のオブジェクト74.2 48.7 平均76.3 56.0 出典：MolmoMotion 論文、図 5a およびセクション 5.2。両方の MolmoBot ポリシーは、同じフローマッチングアクションヘッドと 20K の公開エピソードを使用しており、バックボーンの初期化のみが異なります。 ## 下流評価：動画生成 指示：**「フラミンゴが右へ歩きながら嘴を水に浸す。」**左から右へ：DaS + MolmoMotion、CogVideoX-5B、WAN-14B。 指示：**「テーブルから丸い茶色の皿を取ってください。」**左から右へ：DaS + MolmoMotion、CogVideoX-5B、WAN-14B。 MolmoMotion が予測した経路は、動画生成の誘導にも活用できます。テキスト指示のみから画像から動画への変換モデルが動きを推測させるのではなく、MolmoMotion の予測結果を入力として与えることで、プロンプトでは曖昧にしか記述できない小さな精密な動きにおいても、要求された動作により忠実に従った生成動画を創出できます。 この効果を裏付ける指標もあります。動画生成器の誘導に用いた場合、MolmoMotion は測定した 5 つの動き関連指標すべてにおいてベースモデルよりも運動品質を向上させ、さらに遥かに大規模な画像から動画への変換モデルに対しては 5 つのうち 4 つで上回っています。 MolmoMotion 誘導型動画生成の結果 DaS + MolmoMotion は CogVideoX-5B をすべての指標で上回り、より大規模な Wan2.2-I2V-A14B を 5 つのうち 4 つの指標で凌駕しています。数値が高いほど優れています。 時間的整合性 DaS + MolmoMotion: 0.968 Wan2.2-I2V-A14B: 0.965 CogVideoX-5B: 0.964 被写体整合性 DaS + MolmoMotion: 0.950 Wan2.2-I2V-A14B: 0.940 CogVideoX-5B: 0.939 運動の滑らかさ DaS + MolmoMotion: 0.990 CogVideoX-5B: 0.988 Wan2.2-I2V-A14B: 0.983 動的度 Wan2.2-I2V-A14B: 0.908 DaS + MolmoMotion: 0.876 CogVideoX-5B: 0.861 背景整合性 DaS + MolmoMotion: 0.948 Wan2.2-I2V-A14B: 0.947 CogVideoX-5B: 0.941 出典：MolmoMotion 論文、Table 2。本セクションの棒グラフの長さは各指標行内で再スケーリングされており、微小な差異を視認しやすくするためのものであり、絶対的なスコア比率として解釈してはなりません。記載された数値は報告値です。 ## Limitations and what's next MolmoMotion は能力のあるモデルですが、いくつかの制限に注意が必要です。トレーニング中はオブジェクトあたり 8 つのクエリポイントを使用しており、有用な軌道を予測するには十分ですが、表面幾何学を密に表現するには不十分です。これにより、複雑な変形運動に対するモデルの処理が制限されます。 私たちは、世界にある物体が動く「前に」その動きを予測する「予測（forecasting）」は、すでに存在するものを知覚することと同様に、機械知能にとって根本的な要素だと考えています。MolmoMotion はその一歩であり、カテゴリごとのテンプレートなしでオブジェクトカテゴリ全体に一般化し、通常の動画から学習され、PointMotionBench で測定した中で最も正確な 3D 運動予測器です。ロボット工学、ビデオ、そしてそれ以上の分野において、多くの応用が現れることを期待しています。 [重みのダウンロード](https://huggingface.co/collections/allenai/molmomotion)、[トレーニングデータの閲覧](https://huggingface.co/datasets/allenai/molmo-motion-1m)、および [PointMotionBench に対する当社の手法の評価](https://huggingface.co/datasets/allenai/PointMotionBench) を通じて、MolmoMotion をぜひお試しください。 ## Join us Ai2 では、透明性のあるオープンソース AI の未来を構築しています。これは公開された環境で構築され、科学の進展とこの世界を変える技術への根本的な理解を強化するためにあります。私たちは利益を得るためにここにいるのではなく、AI の恩恵が広く共有され、人類のために役立てられることを保証するためにここにあります。これがあなたに響くものであれば、ぜひオープンな求人情報をご覧ください。 [Open roles](https://allenai.org/careers) ## 最新の Ai2 ニュースに関する月次更新を受け取るには、購読してください。

MolmoMotion：言語指示に基づく 3D モーション予測モデルの公開

背景や根拠まで確認しますか？

調べる

選ぶ

サイト