MolmoSpaces, an open ecosystem for embodied AI｜MolmoSpaces：具身AIのためのオープンエコシステム | AIニュース最前線

2026年2月11日 Ai2 AI の次の波は物理世界において行動するものとなりますが、この可能性を実現するには、新しい空間にわたって一般化できるロボットが必要です。分野がより一般的なロボットシステムを追求するにつれ、ロボットの環境も歩調を合わせる必要があります。つまり、厳密に制御された設定ではなく、多くのユニークなシナリオにわたってトレーニングおよびテストデータを生成することです。過去の [Ai2-THOR](https://ai2thor.allenai.org/) ファミリーにおける取り組みを通じて、オープンなシミュレーションがロボットの*ナビゲーション*（navigation）の研究をいかに加速できるかを見てきました。また、次世代のロボット*マニピュレーション*（manipulation）をサポートするためのアセットとインフラストラクチャの構築を進めてきました。 本日、私たちは身体性学習（embodied learning）のための大規模かつ完全なオープンプラットフォームである**MolmoSpaces**をローンチします。MolmoSpaces は、物理法則に基づくナビゲーションとマニピュレーションをサポートし、[Objaverse](https://objaverse.allenai.org/) および THOR からキュレーションされた 230,000 以上の屋内シーンと 130,000 以上のオブジェクトモデルを、4,200 万を超える注釈付きロボット把持（grasps）データと共に単一のエコシステムに統合しています。これには、大規模なアセット生成と体系的な評価をサポートするために設計された、シーン変換、把持の統合、ベンチマークのためのツールキットが含まれています。さらに、USD 変換スクリプトを通じて、MuJoCo、ManiSkill、NVIDIA Isaac Lab/Sim といった一般的なシミュレータとの互換性も提供します。 ## 高忠実度物理を基盤として 以前のシミュレーション環境は、Unity の簡略化された物理学と「魔法のような把持」に依存していました。これは、把持器の周囲にある球体内に物体が入れば把持されたものとするものであり、現実的な接触力をモデル化していませんでした。一方、MolmoSpaces は、MuJoCo などの物理エンジンを使用し、慎重に検証された物理パラメータを採用しています。 剛体に対しては、シミュレーション値を LLM（大規模言語モデル）が注釈付けした推定値と比較することで質量と密度を検証し、必要に応じて密度を調整します。関節付き物体については、シミュレーションされた Franka FR3 を用いて、ジョイント特性や可動部品の密度を調整するテレオペレーションスイートを使用します。FR3 自体は、既知の重量を持つ立方体の押す・掴む動作の実データからシステム同定を行うことでチューニングされています。 また、安定した接触豊富なシミュレーションのために、コライダーとメッシュの準備を手動で注釈付けしています。コライダーメッシュは [CoACD](https://github.com/SarahWeiii/CoACD) を用いて生成され、すべてのオブジェクトアセットに対してプリミティブコライダーを注釈付けします。テーブルやタンスなど receptacle（収納部）の多い剛体には、メッシュ同士の接触問題を回避するために主にプリミティブを使用し、操作可能な物体には高忠実度を実現するために凸分解（convex decomposition）を採用し、小型または薄い物体には再びプリミティブを使用します。 ## MolmoSpaces-Bench for evaluating generalization MolmoSpaces には、体系的かつ制御された変異下での一般化に焦点を当てた、一般化ポリシーの評価のためのベンチマークである**MolmoSpaces-Bench**が含まれています。このフレームワークにより、研究者は単一の集約成功率を報告するのではなく、物体の特性（形状、サイズ、重量、可動部）、レイアウト（多部屋、多階層、散乱）、タスクの複雑さ（単一ステップから階層的まで）、感覚的条件（照明、視点）、ダイナミクス（摩擦、質量）、タスクの意味（指示の表現）など、複数の軸にわたるパフォーマンスを測定することが可能になります。この体系的な変異は分布分析を可能にし、分布外における失敗モードの特定にも役立ちます。 タスク定義には、原子操作スキル（把持、配置、開閉）とその組み合わせが含まれ、明確にナビゲーション目標も含まれています。アセットと環境は複数のシミュレータバックエンドでインスタンス化可能であり、共通基盤上での比較を可能にします。 これは、ロボット工学研究分野が長年欠いていたものを提供します：数千の現実的なシーンにおいて、他の要因を固定したまま一度に一つの因子を体系的に変化させる能力です。物体質量に対する把持の頑健性を調べたいですか？照明や雑多な環境に対するポリシーの扱い方を研究したいですか？プロンプトの脆弱性や物体頻度のバイアスを明らかにしたいですか？MolmoSpaces-Bench は、これらの制御実験を可能にするために設計されており、体系的な実世界検証を通じてトレーニングの多様性がシミュレーションから現実への転送にどのように影響するかを測定します。 ## 大規模な資産とシーン MolmoSpaces は、カスタムオブジェクト資産と厳選された Objaverse 由来のバンクを統合し、MJCF で提供され、MuJoCo、ManiSkill、NVIDIA Isaac Lab/Sim を含むシミュレータ間での移植性を確保するために USD に変換されています。 THOR アセットから、134 のカテゴリにわたる 1,600 以上の剛体把持可能オブジェクトインスタンスを抽出・変換しました。また、関節付きの家庭用オブジェクト（冷蔵庫、電子レンジ、オーブン、食器洗い機、ドア、タンスなど）もライブラリに追加し、ジョイントタイプ（ヒンジまたはスライド）、軸、位置、範囲を注釈付けました。これにより、シミュレータ固有の回避策ではなく、明示的に関節動作が定義されます。 Objaverse のアセットについては、当社のパイプラインは 625,000 個のアセットから開始し、メタデータの完全性、単一オブジェクトの検証、スケール正規化、テクスチャ品質（スコア≧4）、クロスレンダラー忠実度（CLIP 類似度≧0.6）、ジオメトリ効率（<1.5 MB）、および受容体検証のためのフィルタリングを適用します。その結果、約 3,000 の WordNet 語義群にわたる 129,000 個の厳選されたアセットが得られ、これらはトレーニング/バリデーション/テストのサブセットに分割されています。手動生成による家屋の作成においては、追加の配置フィルタにより、自動シーン生成に適した約 92,000 個のアセットが抽出されます。 これらのアセットは、iTHOR-120、ProcTHOR-10K、ProcTHOR-Objaverse、Holodeck など複数のデータセットから抽出されたシーンに配置され、家屋、オフィス、教室、病院、学校、博物館などを含む数十万の屋内環境を網羅しています。シーンの作成モードには、手作業による環境構築、手動で再現されたデジタルツイン、ヒューリスティックな手続き型生成、LLM 支援の手続き型生成が含まれており、厳選された設定と非常に多様な設定の両方での評価をサポートします。 シーンコレクションは広範な検証プロセスを経ます。剛体操作対象物に対しては、小さな外力を加え、2 cm を超えて移動しないオブジェクトは固定されているものとして扱います。関節付きオブジェクトに対しては、関節力を加え、関節範囲の少なくとも 60% を通過できないアセットは却下します。また、環境をシミュレーションしてドリフトや交差を検出し、95% 以上のシーンがこれらのテストに合格しています。占有マップにより、ロボットのための衝突のない初期姿勢が特定されます。 ## スケーラブルな開発のための把持 MolmoSpaces には、48,111 種類の物体（物体あたり最大約 1,000 個）にわたる 4200 万を超える 6 自由度の把持姿勢が含まれています。把持姿勢は、MJCF 幾何形状から Robotiq-2F85 グリッパーモデルを用いて直接サンプリングされます。関節付き物体の場合、サンプリングは葉部コンポーネント（しばしば取っ手）に制限され、非葉部幾何形状と衝突する把持姿勢は破棄されます。 私たちは、多様性と頑健性の両方を備えた把持姿勢を選択します。これらは完全な 6 自由度のポーズ空間でクラスタリングされ、クラスタ間から均一に選択されます。また、接触点の好ましさ（薄物における指パッド中央 vs. 指先）も考慮されます。剛体に対する把持は、線形および回転摂動を用いてテストされます。関節付き物体については、動作可能性を通じて頑健性を評価します。具体的には、接触を維持しながら有効なジョイント範囲の少なくとも 70% を両方向で安定して動作させることを要求します。 把持可能性の検証は、ランダムにサンプリングされたポーズに配置された浮遊する Robotiq グリッパーを用いて行われ、物体を持ち上げて開閉するテストを実施します。 これらの把持姿勢は、把持ローダーを通じて環境に直接埋め込むことができ、付随する軌道生成パイプラインにより、把持データに基づく再現可能なデモンストレーションが可能になります。これにより、大規模なデータセット作成や模倣学習のサポートが実現されます。 ## What's included MolmoSpaces のすべてのコンポーネントはオープンかつモジュール化されています。研究者は基盤となる MJCF を検証・修正したり、把持動作を再生成したり、新しいロボットやコントローラーを組み込んだり、単腕および二腕システムを含む複数のシミュレーターと実装体間で実験の複製や拡張を行ったりできます。 今回のリリースには以下の要素が含まれます: - アセット: 130K ドル相当以上の MJCF オブジェクトアセットに加え、メッシュ・マテリアル、物理パラメータ、および説明、スケール、質量、シンセット/カテゴリからなる豊富なメタデータ - シーンデータセット: 手作業で作成された単一室のシーンから、手続き的に生成された 10 部屋以上の商業・住宅空間に至るまで、完全な物理演算対応の環境定義とメタデータが 230K+ 件 - 把持動作: 剛体および可動関節を持つ 48,000 個以上のオブジェクトにわたる 6DoF（6 自由度）把持注釈が 42M 件以上 - ツール: アセットを各シミュレーターで利用するためのローダー/ユーティリティ（Isaac Lab/Sim via USD、ManiSkill ローダーを含む） MolmoSpaces はまた、Teledex などのモバイルプラットフォームを用いたテレオペレーションベースのデータ収集もサポートしており、研究者はスマートフォンから直接デモンストレーションを収集できます。このインターフェースは DROID や CAP を含む既存の実装体セットアップすべてと互換性があり、特別な設定は不要です。 MolmoSpaces の探索と、その結果得られるデータを用いた一般化ポリシーの訓練をご案内します。コミュニティがどのように活用するかを楽しみにしています。 詳細はこちら、始め方はこちら: [Tech Report](http://allenai.org/papers/molmospaces) | [Data](https://huggingface.co/datasets/allenai/molmospaces) | [Code](https://github.com/allen-ai/molmospaces) | [Demo](https://mujocothor-demo.allen.ai/environment) 最新の Ai2 ニュースに関する月次更新を受け取るには、購読してください。

MolmoSpaces：具身AIのためのオープンエコシステム

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト