AI2 が MolmoAct 2 をリリース

AI は私たちのメール作成、コードのデバッグ、飛行機の予約を代行しています。しかし物理の世界では、まだ苦戦を強いられています。ロボットに食器洗い機への信頼性の高い積み込みや、実験室での試験管サンプルの準備を行わせることは、現在のほとんどのシステムが数時間にわたって確実に実行できる範囲をはるかに超えています。しかし、これらの分野こそが、有能な機械が最も重要となる場所です—人手を確保するのが最も困難な反復作業を処理し、科学発見を加速させる役割を果たします。 過去1年間、ロボット基礎モデルにおいて真の進展があり、完全自律型ロボットへの道が近づきました。しかし、その根底にあるレシピ（基盤技術）は依然として閉鎖されたままです。一部のチームは重み（ウェイト）を公開しますが、データを公開するチームはさらに少なく、研究者が作業を詳細に研究したり、意味ある改善を加えたりするのに十分な情報を公開しているケースはほとんどありません。 昨年の8月、私たちは3D環境内で行動する前に推論を行う新しいモデルクラスであるAction Reasoning Model (ARM) の第1弾となる[MolmoAct](https://allenai.org/blog/molmoact)をリリースしました。本日、業界ベンチマークにおいて有能なプロプライエタリ型ロボットモデルを上回る性能を発揮し、タスクごとの微調整なしにさまざまな実世界のタスクをそのまま処理でき、前世代よりも最大37倍高速で動作する大幅なアップグレード版である[MolmoAct 2](https://huggingface.co/collections/allenai/molmoact2-models)をリリースします。これにより、対応可能な作業の範囲が劇的に拡大しました。MolmoAct 2に併せて、過去に公開された中で最大規模となるオープンソースの両手テーブルトップマニピュレーションロボット用データセットである[MolmoAct 2-Bimanual YAM dataset](https://huggingface.co/collections/allenai/molmoact2-datasets)もリリースします。このデータセットには、720時間を超えるトレーニングデモンストレーションが含まれています。 MolmoAct 2、MolmoAct 2-Bimanual YAMデータセット、そして新しいアダプターアーキテクチャを備えた更新版のVLA (Vision-Language-Action) パイプラインは、研究者が研究や構築に利用できるよう公開されています。これにはモデル重み、データセット、および3D空間での推論をより深く行うことでパフォーマンスと解釈可能性を向上させる当社の適応的推論アプローチが含まれています。 ## 推論のための MolmoAct の再考：アーキテクチャからデータまで MolmoAct は、3 ヶ月間にわたって作成された 22 時間の厳選された社内データ（約 10.6K の軌跡。各軌跡は、台所、浴室、寝室、リビングルーム、テーブルトップセットアップなど across でロボットアームが操作タスクを完了した成功記録）と、数十のロボティクス研究所から集められたコミュニティ統合型データセットである Open X-Embodiment（Open X-Embodiment）のフィルタリング済みサブセットを用いてトレーニングされました。MolmoAct は、オープンで推論ベースのアーキテクチャが業界標準ベンチマークにおいてより大規模なクローズドモデルを上回ることを証明する役割を果たしましたが、MolmoAct 2 は実世界環境での展開を目的として構築されています。 MolmoAct 2 を作成するために、私たちはアーキテクチャを再考しました。MolmoAct 2 は単に Molmo 2 から初期化されるのではなく、**Molmo 2-ER**（Molmo 2 の特殊な具身推論（embodied-reasoning）バリアント）から構築されています。私たちは、画像に基づくポインティング、物体検出、抽象的な空間推論、複数画像の推論、画像および動画に基づく空間質問応答をカバーする追加約 300 万の具身推論例を用いて Molmo 2 をさらにトレーニングすることで、Molmo 2-ER をトレーニングしました。 このより強力な推論バックボーンは、評価において直接的に現れます。ポインティング、複数画像の推論、自己・他者対応（ego-exo correspondence）、動画空間推論をカバーする 13 の具身推論ベンチマーク全体で、Molmo 2-ER は平均 63.8/100 を記録し、GPT-5、Gemini 2.5 Pro、Qwen3-VL-8B、GR-ER 1.5 などを含むシステムを上回っています。 MolmoAct 2 は、フローマッチングを通じてロボット動作を生成する専用アクションエキスパートと Molmo 2-ER を組み合わせ、VLM（Vision-Language Model）とは KV キャッシュブリッジで接続されています。また、MolmoAct 2 にはオープンなアクショントークナイザーも備わっています。Physical Intelligence の FAST トークナイザーは分野における最近の最も有用な貢献の一つですが、その学習に使用されたデータは公開されていませんでした。そこで私たちは、自社データを用いて訓練した完全オープンソースの実装である**MolmoAct 2-FAST Tokenizer**を構築し、MolmoAct 2 とともに公開しました。 これらの改善およびその他の改良の結果、MolmoAct 2 の推論速度は劇的に向上しました。ベースモデルでは単一のアクション呼び出しに約 180 ms、適応的深層推論を備えた MolmoAct 2 では 790 ms を要するのに対し、MolmoAct（LIBERO ベンチマーク環境で NVIDIA H100 1 基で実行）では 6,700 ms かかります。これは、動作間に明確な一時停止が生じるロボットと、環境に対してほぼリアルタイムで反応するロボットの差です。 また、明示的な 3D 推論を必要とするタスクに対して深度知覚トークンを付加した**MolmoAct 2-Think**も紹介します。不要な計算を避けるため、適応型深度メカニズムは、タスク性能の向上が期待される場合のみ深度予測を実行します。これにより、MolmoAct 2 は効率的な推論を維持しつつ、3D 空間構造についてより深く推論することが可能になります。すべての画像パッチに対して深度トークンを予測するのではなく、モデルは動的なシーン変化が生じている領域に焦点を当てて深度予測を行うため、密度の高い深度トークン予測の遅延が削減され、フル深度トークン予測と比較して 17% の高速化を実現します。 MolmoAct 2 を訓練するために、私たちは MolmoAct 2-Bimanual YAM データセットを作成しました。これは、タオルの折りたたみ、商品のスキャン、スマートフォンの充電、テーブルの片付けといった協調タスクを含む、2 つのマシンアームが連携するロボットデモンストレーションを 700 時間分収集したものです。MolmoAct 2-Bimanual YAM データセットは、これまでに公開された中で最大規模のオープンソース双腕型ロボティクスデータセットであり、MolmoAct の訓練に使用されたロボットデータの 30 倍以上を含んでいます。このデータセットのキュレーションには [Cortex AI](https://cortexrobot.ai/) の支援を受けました。 MolmoAct はタスクごとのファインチューニングを通じて双腕操作が可能でしたが、MolmoAct 2 では双腕機能がベースモデルに組み込まれているため、ユーザーは箱から出したその場で利用できます。 MolmoAct 2-Bimanual YAM データセットに、異なるアーム、カメラ設定、制御方式、タスクスタイルを備えたより広範なロボットデータセットを追加しました。これには、低コストのオープンソースロボットアームからの大規模な SO-100/SO-101 データセットが含まれます。また、多様なシーンにおける実世界での片腕操作のためにフィルタリングされた DROID Franka データ、指示条件付きロボット操作の多くの例を追加する Open X-Embodiment 由来の Google Robot BC-Z および Fractal データ、一般的なロボット設定へのカバレッジを拡大する Bridge WidowX データ、そして最初のモデルの基盤となった家庭内および卓上での操作スキルを保持した MolmoAct の元のトレーニングデータが含まれます。 また、ロボットデータの言語側も改善しました。多くのロボットデータセットは反復的なタスクラベルを再利用しているか、テスト実行文字列などの低品質な注釈を含んでいます。指示の精度と多様性を高めるため、オープンソースの VLM（Vision-Language Model：視覚・言語モデル）を用いてロボットの実演データを再注釈し、データセット全体での一意なラベル数を約 71K から約 146K に増加させました。 ## シミュレーション、適応、実世界ロボットタスクにわたる評価 MolmoAct 2 を、これまでに実施した中で最も厳格なロボティクス評価の一つにかけました。これはシミュレーション、ゼロショット展開、および新しいロボット設定へのトレーニング後の適応を網羅するものです。 MolmoAct 2 はシミュレーションにおいて強力なパフォーマンスを発揮します。家庭用操作を評価するベンチマークである MolmoBot では、全タスクを通じて平均成功率 20.6% を記録し、これは Physical Intelligence のπ0.5（10.3%）の約倍に相当します。（MolmoBot は難易度が高いことを意図しており、多くのベースラインモデルは単一の数字で評価されます。）また、単純な合格/不合格の結果だけでなく、より詳細な成果を捉えるように設計された両手操作ベンチマークである RoboEval では、MolmoAct 2 が 0.443 のスコアを獲得し、π0.5 の 0.405 を上回っています（数値が高いほど優れています）。 Franka アームを用いた実世界でのゼロショットテストでは、MolmoAct 2 は評価したすべてのタスクにおいて、π0.5 および以前の MolmoBot モデルの両方を上回りました。これは、リンゴを皿に置くような単純なピッキング＆プレイス作業から、ピペットをトレイに入れる、小さな赤い立方体をテープロールの中心に配置する、ナイフを箱に入れるといった精密なタスクに至るまで含まれます。各タスクで 15 回の試行を行った結果、MolmoAct 2 はリンゴを皿に置くタスクで 100% の成功率を達成し、ピペットをトレイに入れるタスクで 86.7%、赤い立方体をテープロールの中心に配置するタスクで 93.3%、ナイフを箱に入れるタスクで 93.3%、複数の物体をボウルに移すというより長い時間軸を要するタスクでは 62% の成功率を記録しました。全体として、MolmoAct 2 の平均成功率は 87.1% であり、これは MolmoBot の 48.4% やπ0.5 の 45.2% を大きく上回る結果です。 また、セットアップや食器の片付け、テーブル拭き、ボウルをシンクに入れる、トレイを持ち上げる、タオルを畳むといった単腕および両腕タスクに対するポストトレーニング後のMolmoAct 2の評価も行いました。MolmoAct 2は特にタオル折り、ボウルの配置、テーブル拭き、トレイ持ち上げにおいて顕著な成果を示し、モデルがポストトレーニングを通じて実用的な操作行動に適応できる可能性を示しています。 また、時間経過とともに多くのスキルを習得・保持する能力を測定するベンチマークLIBEROでは、MolmoAct 2はポストトレーニング後に平均成功率97.2%を達成し、MolmoAct 2-Thinkは98.1%に達しました。これはそれぞれMolmoActと比較して約10.6ポイントおよび11.5ポイントの向上です。 ここで紹介する一部の社内評価は、I2RT Roboticsから寄贈されたYAMアームを用いて実施されました。I2RTはMolmoAct 2の開発、評価設計、またはこれらの結果報告において一切関与していません。彼らの貢献に感謝いたします。 当社の社内評価を超えてMolmoAct 2を検証するため、ロボットデータおよび評価会社であるCortex AIを委託し、MolmoAct 2の実世界ファインチューニング性能に関する第三者ベンチマークを実施させました。Cortex AIは、体系的な多数試行セットアップを用いて複数の両腕タスクにおいて、MolmoAct 2を含む5つのロボットポリシーを評価しました。 MolmoAct 2 は平均スコア 0.51 で最高位を記録し、OpenVLA-OFT の 0.36、π0.5 の 0.32、Cosmos Policy の 0.16、X-VLA の 0.05 を上回りました。また、タスクレベルでのパフォーマンスも最も強く、8 つのタスクのうち 7 つで 1 位を獲得しました。具体的には、試験管をトレイに戻す作業、お菓子の収納、工具の片付け、おもちゃの片付け、カップの収納、ピペットチップの準備、ポップコーンの作成などが含まれます。 ## 実世界での展開 あらゆるロボットモデルにとって真の試練は、制御された環境外で機能するかどうかにあります。そこでは指示が多様であり、小さなミスが時間とともに積み重なる可能性があります。MolmoAct 2 は、モデル全体を再学習させることなく、そのような設定下でもより容易に誘導できるように設計されています。自然言語による指示に応答し、ユーザーがロボットに経路を示す視覚的な軌跡を利用することで、MolmoAct 2 の動作を解釈しやすく、微調整もしやすくしています。 展開の障壁を下げるため、私たちは MolmoAct 2 用のリファレンスロボットハードウェアセットアップも公開しました。これは、 overhead（上方）に Intel RealSense D435 カメラを配置し、近接撮影用に 2 つの D405 カメラを搭載した 2 本の YAM アームと、伸縮式のマウント、シンプルな卓上作業スペースを組み合わせたものです。これにより、研究者が卓上操作や両手協調操作の研究を開始するための簡単な出発点を提供します。 今年初めから、スタンフォード大学医学部の Cong Lab（リー・コング教授率いる）などの研究パートナーと MolmoAct 2 のパイロット運用を開始しています。同ラボはゲノム工学を加速させる自律型ウェットラボの実現を目指しており、これはロボットモデルにとって有用なストレステストとなります：環境は非構造的であり、タスクには反復的な精密さが要求され、実験の過程で小さなエラーが蓄積する可能性があるからです。 これらのワークフローでは、CRISPR 遺伝子編集実験におけるサンプル間の移動や卓上装置の操作といった日常的な操作ステップを、MolmoAct 2 に搭載されたアームが担当します。ワークフローに微調整された各種一般用ロボットモデルをテストした結果、スタンフォード大学のチームは、MolmoAct 2 がウェットラボ運用の重要な部分を効率化し、その結果として科学発見を加速させる可能性が高いことを確認しました。 一方、私たちは内部でも、MolmoAct 2 が実際の導入環境を模倣する変化（指示文の言い換え、物体位置の変更、シーン内の妨害物、物体の置き換えなど）にどのように対応するかをテストしました。これらのストレステストは、トレーニング時の正確なシーンの状況と異なる場合でも、モデルが指示の意図を理解して実行できるかどうかを検証するものです。 これら一連のパイロット運用と評価を通じて、MolmoAct 2 が制御された環境下でタスクを完了できるかだけでなく、周囲の環境が頻繁に変化した場合にどの程度耐えられるかを理解することができました。 ## 研究と拡張のために設計された MolmoAct 2 は非常に能力の高いモデルですが、依然として限界があります。他のロボットシステムと同様に、グリップヤーがカメラの視界を遮る場合や、モデルの応答速度がロボットの制御システムに追いつかない場合、あるいはタスクが特に微細な操作を必要とする場合には苦労することがあります。また、そのビジュアル・トレースによる誘導機能はまだ初期段階であり、人間オペレーターからの 2D トレースには奥行き軸のエラーが生じる可能性があります。 これらはまさに、共有基盤が分野全体で取り組むべき課題の典型です。研究者が検証できるモデルや、それを土台として構築できるデータセット、そしてまもなく公開される新しい機械や状況に適応可能なトレーニングコードなどです。MolmoAct 2 は、昨年の MolmoAct で築いた基礎の上に立ち、以前の研究成果を実際のインパクトへと変換することで、その基準を確立することを目的としています。 物理世界での行動は AI が直面する最も困難なフロンティアの一つであり、私たちはオープンな道が最善の前進方法だと考えています。[技術アーティファクト](https://huggingface.co/collections/allenai/molmoact2-models) をダウンロードし、それらを使って何を作り上げたか、またどこを改善できるかをぜひ教えてください。 最新の Ai2 ニュースに関する月次更新を受け取るには、購読してください。

AI2 が MolmoAct 2 をリリース

背景や根拠まで確認しますか？

調べる

選ぶ

サイト