Google DeepMind、全身制御と多機連携の物理 AI モデル 3 つを公開
Google DeepMind は次世代ロボットの知能層「Gemini Robotics 2」をリリースし、全体制御や五本指の器用さ、複数ロボットによる協働を実現する 3 つのモデルを公開した。
AI深層分析を開く2026年7月31日 03:16
AI深層分析
キーポイント
3 つの専用モデル構成
ビジョン・言語・行動（VLA）モデル、高次脳機能としての具現化推論（ER）モデル、およびローカル実行用のオンデバイス VLA モデルという 3 つの役割分担されたモデルが提供される。
全体制御と多関節操作への対応
従来のテーブルトップ作業から脱却し、人間型ロボットの足先から指先までの全体制御や、五本指の手および並列グリッパーによる器用な操作を可能にする。
Gemini Robotics ER 2 の機能
Gemini 3.5 Flash を基盤とし、テキスト・画像・動画・音声の複合入力に対応して最大 128k のコンテキストウィンドウで数分間の多段階タスク計画を行う高次脳機能モデルである。
現状の技術的課題
Google DeepMind は移動速度の向上余地を認めており、五本指の器用さについては 32% から 92% の範囲でまだ改善が必要な領域があると指摘している。
多様なロボットハンドとグリッパーの制御
Gemini Robotics 2 は5本指の手や標準的な平行グリッパーを制御し、紐結びや精密な挿入などのタスクで高い成功率を示す。
重要な引用
Gemini Robotics 2 is the vision-language-action (VLA) model. It converts vision and language input into motor control.
Multi-finger dexterity is still the weak axis, ranging from 32% to 92%.
Google DeepMind is direct about the remaining gap. It states that its robots have more to advance in movement speed.
The stated purpose is removing the stop-and-think pauses that break multi-step execution.
編集コメントを表示
編集コメント
ロボット制御における「全体動作」と「多段階計画」を統合したアプローチは、実世界での自律性向上に向けた重要な一歩である。ただし、器用さや速度に関する課題が明確に示されている点は、開発者が現実的な期待値を持つ上で極めて有益な情報となる。
Source Article
元記事を日本語で読む
本文に関係しない購読案内、埋め込み通知、サイト内プロモーションは除いています。
Google DeepMind は、次世代ロボットのための知能レイヤー「Gemini Robotics 2」をリリースしました。この発表により、ロボットの制御はテーブル上での単純な操作から、全身制御や5 指の器用さ、そして複数台のロボットによる協調作業へと進化します。Gemini Robotics 2 は、3 つの異なるアクセス権限を持つ別々のモデルとして提供されます。
現在のほとんどのロボットは、特定の反復的なタスクシーケンスのために事前プログラムされるか、遠隔操作に依存しています。予測不能な環境への適応が難しく、あるロボットで習得したスキルを別のロボットへ転用することも稀です。Gemini Robotics 2 は、これらの課題すべてに同時にアプローチします。
TL;DR
3 つのモデルがセットで提供されます：VLA（Vision-Language-Action）モデル、身体性推論 VLM、そしてオンデバイス向け VLA です。
1 つのチェックポイントで、Apollo 2 を両手の異なるハンドと Franka Duo グリッパーのいずれでも駆動できます。
Gemini Robotics ER 2 は公開プレビュー版ですが、VLA とオンデバイスモデルはアクセス制限があります。
多指による器用な操作はまだ課題であり、成功率は 32% から 92% の範囲にあります。
新しい安全性ベンチマーク「ASIMOV-Agentic」が Hugging Face で CC-BY-4.0 ライセンスの下で公開されています。
3 つのモデルとその役割
Gemini Robotics 2
Gemini Robotics 2 は、Vision-Language-Action（VLA）モデルです。視覚と言語の入力をモーター制御に変換し、足先から指先までを制御できる完全なヒューマノイドや、両腕を持つロボットを駆動できます。また、多指ハンドや並行グリッパーを用いた器用な操作も処理可能です。
Gemini Robotics ER 2
Gemini Robotics ER 2 は、具現化推論（Embodied Reasoning: ER）モデルです。これは高次な脳として機能するビジョン言語モデルで、人間との対話や物理世界の理解、数分間にわたる多段階タスクの計画を担います。モデルカードによると、ER 2 は Gemini 3.5 Flash をベースに構築されています。最大 128k のコンテキストウィンドウ内でテキスト、画像、動画、オーディオを複合的に受け取り、64K トークンまでのテキストを出力可能です。
Gemini Robotics On-Device 2
Gemini Robotics On-Device 2 は、ロボット上でローカル実行されるよう最適化された効率的な VLA（Vision-Language-Action）モデルです。モデルカードによれば、このモデルは Gemini Robotics 1.5 の技術と Google のオンデバイス用 Gemma モデルを基盤としています。入力にはテキスト、画像、および数値で表されるロボットの自己知覚（プロプリオセプション）が含まれます。出力もまた、数値形式のロボット動作です。
システム設計における役割分担が重要です。ER 2 がタスクの計画と追跡を行い、モーター実行は VLA モデルという「ツール」として引き継ぎます。開発者は、VLA モデルやナビゲーション API などの低レベル制御インターフェースを呼び出し可能なツールとして登録します。その後、マルチモーダルな動画、音声、テキストを直接モデルにストリーミングすることで連携を実現します。
Apptronik Apollo 2 における全身制御
以前の Gemini Robotics モデルは、テーブルトップ作業のために人間型ロボットの上半身のみを制御するものでした。Gemini Robotics 2 は初めて、全身の運動制御に対応しました。
実演例では、Apptronik の Apollo 2 を使用しました。指示は「下の棚にある緑色のゴミ箱に水やり用ジョウロを入れてください」というものです。Apollo はまずテーブルまで歩き、ジョウロを掴みます。その後、数歩歩いて棚へ行き、目的の場所に物を置きました。
Google DeepMind は残された課題についても率直に言及しています。ロボットが移動速度においてさらに向上させる余地があるとしています。
手とグリッパーの器用さ
Gemini Robotics 2 は、Apollo 2 に搭載された5指22自由度の SharpaWave ハンドを制御できます。報告されている動作には、結び目を作る行為やジップロック袋を密封する作業が含まれます。同モデルはまた、Franka Duo プラットフォームに標準的な2本指平行グリッパーを搭載し、きつい梱包などのタスクも実行します。
報告された成功率は、1 つのモデルチェックポイントが 3 つの異なるロボット身体（エンボディメント）を制御した結果です。具体的には、SharpaWave ハンドを搭載した Apollo 2、Inspire ハンドを搭載した Apollo 2、そして Robotiq グリッパーを搭載した Franka Duo です。
| カテゴリ | エンボディメント | タスク | 成功率 |
|---|---|---|---|
| 全身操作 | Apollo 2 + Inspire ハンド | 棚から掴む | 76.3% |
| 全身操作 | Apollo 2 + Inspire ハンド | テーブルから掴む | 68.4% |
| 全身操作 | Apollo 2 + Inspire ハンド | 床から掴む | 45.7% |
| 多指器用性 | Apollo 2 + Sharpa ハンド | 電球のネジを外す | 92% |
| 多指器用性 | Apollo 2 + Sharpa ハンド | ゴミ袋を結ぶ | 44% |
| 多指器用性 | Apollo 2 + Sharpa ハンド | ジップロックを開閉する | 40% |
| 多指器用性 | Apollo 2 + Sharpa ハンド | 電球のネジを締める | 36% |
| 多指器用性 | Apollo 2 + Sharpa ハンド | ホウキとチリトリを使う | 32% |
グリッパーの器用さ
Franka Duo による精密な挿入タスク：89.6%
Franka Duo による多様なツールキット化タスク：78.9%
Franka Duo による一般的なピッキング＆プレイス：74.2%
ER 2: 時間知能とツールのオーケストレーション
開発者が X（旧 Twitter）で取り上げたのは、あまりベンチマークされない問題です。それは「タスクが実際に完了したのか」を判断できるかどうかという課題です。
進行度の分類：
動画の各フレームは、0〜20% から 80〜100% の5段階の進行度レベルに割り当てられます。Gemini Robotics の ER 2 はこのタスクで 57.4% の精度を達成しました。Google DeepMind によると、これは前世代モデルや競合する最先端モデルを上回る結果です。
重要瞬間の特定：
これは、モデルが重要なイベントが発生した正確なフレームを識別できるかを測る指標です。例えば、カップにコーヒーを注ぐのを止めるべき瞬間を見つけるようなケースです。ER 2 は平均絶対誤差 0.96 秒で 91.3% の精度を達成しました。Google DeepMind によれば、これは実行速度が約4倍速いにもかかわらず、はるかに大規模なモデルカテゴリと互角に競える性能です。
ツールのオーケストレーション：
ER 2 は、リアル VLA（Virtual Learning Agent）、シミュレーション VLA、および人間の遠隔操作の3つの制御モードで評価されました。いずれのモードでも Gemini Robotics の ER 1.6 を上回りました。
ER 2 は双方向ストリーミングエンドポイントを通じて Gemini Live API と統合されています。その目的は、マルチステップの実行を妨げる「停止して考える」ような間欠的な動作を排除することです。また、Google Search やユーザーが定義した任意の関数といったツールをネイティブに呼び出すことも可能です。
3 つの空間認識能力が強化されました。成功と失敗の検出は、静止画像ではなく生動画フィード上で実行されるようになり、作業中のこぼれや滑りをリアルタイムで捉えることができます。一般的な計器類の読み取りも、円形ダイヤルだけでなく、デジタル表示、リニアスケール、定規、液体温度計など 10 種類の計器に対応するよう拡張されました。また、Gemini のマルチモーダル技術の進展により、空間的な視覚質問応答（VQA）の精度も向上しています。
Google DeepMind は、Boston Dynamics の Spot を活用したデモを構築しました。ここでは ER 2 が Spot の移動とマニピュレータ API の制御を調整します。サンプルコードは robotics-samples リポジトリで公開されています。
Multi-Robot Collaboration（マルチロボット協調）
Gemini Robotics 2 では、異なる種類のロボット間での協働が可能になりました。その背景には、「単一のロボットがすべてのタスクに適しているわけではない」という考えがあります。例えば、車輪式のローバーは屋内作業に、二足歩行のヒューマノイドは不整地への対応にそれぞれ適しています。
ロボットたちは共通の意味理解を通じて通信し、サブタスクを連携して引き継ぎます。デモでは、Apptronik の Apollo 2 と Franka F3 Duo の組み合わせが紹介されました。
On-Device 2: Adapting to New Robot Bodies（オンデバイス 2：新しいロボットボディへの適応）
Gemini Robotics On-Device 2 は、ネットワークの遅延や接続性に依存できないアプリケーションを対象としています。このモデルはネイティブでマルチエンボディメントに対応し、Gemini Robotics 1.5 から継承されたモーション転送技術を活用しています。
Google DeepMind は、新しい二腕ロボットへの適応を数時間で達成し、通常は 200 例未満のデータで対応可能であることを報告しました。これは形状、センサー、自由度が劇的に異なるロボットにも適用可能です。実証に用いられたプラットフォームには、Dexmate、SO101、Trossen が含まれます。
モデルカードでは、トレーニング後のみ導入されたプラットフォームにおける「On-Device 1」とのデータスケーリング比較結果も公開されています。
| Platform | Model | Start | End |
|---|---|---|---|
| SO101 | On-Device 2 | 26.7% | 53.3% |
| SO101 | On-Device 1 | 10.0% | 6.7% |
| Dexmate | On-Device 2 | 24.4% | 75.6% |
| Dexmate | On-Device 1 | 33.3% | 33.3% |
SO101 の結果が特に顕著です。On-Device 1 は床からほとんど離れられませんが、On-Device 2 は 50% を突破しています。
モデルカードにはまた、同モデルの限界も明記されています。On-Device 2 は、分布外タスクへの汎化や、高自由度ロボットに対する制御において制限があります。
利用開始について
| モデル | アクセス方法 |
|---|---|
| Gemini Robotics ER 2 | Gemini API および Google AI Studio を通じた公開プレビュー; Gemini Enterprise Agent Platform での非公開プレビュー |
| Gemini Robotics 2 (VLA) | 早期アクセスパートナー向け |
| Gemini Robotics On-Device 2 | 信頼されたテスター限定 |
AI Studio の起動リンクでは、モデル文字列として gemini-robotics-er-2-preview を使用します。入門用のノートブックは robotics-samples リポジトリに用意されています。
インタラクティブ解説
(function(){
window.addEventListener("message",function(e){
if(e.data&&e.data.gr2height){
var f=document.getElementById("gr2frame");
if(f)f.style.height=e.data.gr2height+"px";
}
});
})();出典：Gemini Robotics 2 の発表、Gemini Robotics ER 2 の開発者投稿、ER 2 モデルカード、On-Device 2 モデルカード、ASIMOV-Agentic データセットおよび安全性技術レポート。
原文を表示
Google DeepMind has released Gemini Robotics 2, the intelligence layer for its next generation of robots. The release moves the stack past table-top manipulation into whole body control, five finger dexterity and multi robot teamwork. It ships as three separate models with three different access tiers.
Most robots today are pre-programmed or tele-operated for narrow, repetitive task sequences. They do not adapt to unpredictable environments, and skills rarely transfer between robot bodies. Gemini Robotics 2 targets all three limits at once.
TL;DR
Three models ship together: a VLA, an embodied reasoning VLM, and an on-device VLA.
One checkpoint drives Apollo 2 with two different hands plus a Franka Duo gripper.
Gemini Robotics ER 2 is public preview; the VLA and on-device models stay gated.
Multi-finger dexterity is still the weak axis, ranging from 32% to 92%.
ASIMOV-Agentic, a new safety benchmark, is on Hugging Face under CC-BY-4.0.
3 Models and What They Do
Gemini Robotics 2
Gemini Robotics 2 is the vision-language-action (VLA) model. It converts vision and language input into motor control. It can drive full humanoids from feet to fingertips, and other bi-arm robots. It also handles dexterous manipulation on both multi-finger hands and parallel grippers.
Gemini Robotics ER 2
Gemini Robotics ER 2 is the embodied reasoning (ER) model. It is a vision language model that acts as the high level brain. It communicates with humans, understands the physical world, and plans multi-step tasks lasting several minutes. Per its model card, ER 2 is based on Gemini 3.5 Flash. It accepts interleaved text, image, video and audio with a context window of up to 128k, and emits text up to 64K tokens.
Gemini Robotics On-Device 2
Gemini Robotics On-Device 2 is the efficient VLA optimized to run locally on the robot. Its model card states it is built on Gemini Robotics 1.5 technology and Google’s on-device Gemma models. Inputs are text, images and robot proprioception as numerical values. Outputs are robot actions as numerical values.
The division of labor matters for system design. ER 2 plans and tracks the task, then hands motor execution to a VLA declared as a tool. Developers register low level control interfaces, such as VLA models or navigation APIs, as callable tools. They then stream multimodal video, audio or text directly into the model.
Whole body control on Apptronik Apollo 2
Previous Gemini Robotics models controlled only the humanoid’s upper body for table-top tasks. Gemini Robotics 2 extends control to whole body motion for the first time.
The worked example uses Apptronik’s Apollo 2. Given the instruction “put the watering can into the green bin in the bottom shelf,” Apollo walks to the table and picks up the watering can. It then takes a few steps to the shelves and places the object at its destination.
Google DeepMind is direct about the remaining gap. It states that its robots have more to advance in movement speed.
Dexterity across hands and grippers
Gemini Robotics 2 can control the five-fingered, 22 degree-of-freedom SharpaWave hand on Apollo 2. Reported actions include tying knots and sealing a ziplock bag. The same model also operates standard two-fingered parallel grippers on a Franka Duo platform for tasks like tight packing.
The reported success rates come from one model checkpoint controlling three embodiments: Apollo 2 with SharpaWave hands, Apollo 2 with Inspire hands, and Franka Duo with a Robotiq gripper.
CategoryEmbodimentTaskSuccess
General whole body manipulationApollo 2 + Inspire handsPick up from shelf76.3%
General whole body manipulationApollo 2 + Inspire handsPick up from table68.4%
General whole body manipulationApollo 2 + Inspire handsPick up from floor45.7%
Multi-finger dexterityApollo 2 + Sharpa handsUnscrew bulb92%
Multi-finger dexterityApollo 2 + Sharpa handsTie trash bag44%
Multi-finger dexterityApollo 2 + Sharpa handsZiplock40%
Multi-finger dexterityApollo 2 + Sharpa handsScrew bulb36%
Multi-finger dexterityApollo 2 + Sharpa handsDustpan32%
Gripper dexterityFranka DuoPrecise insertion tasks89.6%
Gripper dexterityFranka DuoDiverse tool kitting78.9%
Gripper dexterityFranka DuoGeneral pick and place74.2%
ER 2: Temporal Intelligence and Tool Orchestration
The developer X post focuses on a problem that rarely gets benchmarked: knowing when a task is actually done.
Progress classification:
Each frame in a video feed is assigned to one of five progress levels, from 0-20% through 80-100%. Gemini Robotics ER 2 reaches 57.4% accuracy on this task. Google DeepMind reports this outperforms previous generation models and competing frontier models.
Moment finding:
This measures whether the model can identify the exact frame where a critical event occurs. An example is the moment to stop pouring coffee into a cup. ER 2 reaches 91.3% accuracy with a 0.96 second mean absolute distance. Google DeepMind reports it competing closely with much larger model categories at 4x the execution speed.
Tool orchestration:
ER 2 is evaluated across three control modes: real VLA, sim VLA, and human tele-op. It outperforms Gemini Robotics ER 1.6 on all three.
ER 2 integrates with the Gemini Live API through a bidirectional streaming endpoint. The stated purpose is removing the stop-and-think pauses that break multi-step execution. It can also natively call tools like Google Search or any user-defined function.
Three spatial capabilities were upgraded. Success and failure detection now runs on raw video feeds instead of static snapshots, which catches mid-execution spills and slips. General instrument reading extends beyond circular dials to digital displays, linear scales, rulers and liquid thermometers, tested across 10 instrument types. Spatial visual question answering improves through Gemini’s multimodal advances.
Google DeepMind built a demo with Spot from Boston Dynamics, using ER 2 to orchestrate Spot navigation and manipulator APIs. Sample code is available in the robotics-samples repository.
Multi-Robot Collaboration
Gemini Robotics 2 introduces collaboration between different robot types. The reasoning is that no single robot fits every task. A wheeled rover suits indoor work, while a humanoid handles uneven terrain better.
Robots communicate through a shared semantic understanding to hand off subtasks. The demonstrated pairing is Apptronik’s Apollo 2 with a Franka F3 Duo.
On-Device 2: Adapting to New Robot Bodies
Gemini Robotics On-Device 2 targets applications that cannot rely on network latency or connectivity. It is natively multi-embodiment and inherits the motion transfer techniques from Gemini Robotics 1.5.
Google DeepMind reports adaptation to new bi-arm embodiments in a few hours, typically with fewer than 200 examples. This holds for embodiments with drastically different shapes, sensors and degrees of freedom. Demonstrated platforms include Dexmate, SO101 and Trossen.
The model card publishes a data scaling comparison against On-Device 1 on platforms introduced only during post-training:
PlatformModelStartEnd
SO101On-Device 26.7%53.3%
SO101On-Device 10.0%6.7%
DexmateOn-Device 224.4%75.6%
DexmateOn-Device 113.3%33.3%
The SO101 result is the sharper one. On-Device 1 barely leaves the floor, while On-Device 2 crosses 50%.
The model card also lists limits. On-Device 2 is limited in generalizing to out-of-distribution tasks and in controlling high-degree-of-freedom robots.
Availability
ModelAccess
Gemini Robotics ER 2Public preview via Gemini API and Google AI Studio; private preview on Gemini Enterprise Agent Platform
Gemini Robotics 2 (VLA)Early-access partners
Gemini Robotics On-Device 2Trusted Testers
The AI Studio launch link uses the model string gemini-robotics-er-2-preview. Getting-started notebooks are in the robotics-samples repository.
Interactive explainer
Sources: Gemini Robotics 2 announcement, Gemini Robotics ER 2 developer post, ER 2 model card, On-Device 2 model card, ASIMOV-Agentic dataset and Safety Technical Report.
The post Google DeepMind Ships Three Physical AI Models For Whole Body Control, Dexterity And Multi Robot Collaboration appeared first on MarkTechPost.
AI算出
主要ニュースainew評価標準
AI モデルの機能拡張（全身制御、多指操作、マルチロボット連携）と新ベンチマークの公開という画期的な技術的進歩を報じており、新規性が高い。日本企業との直接的な関連やローカル利用条件の記載はないため、日本の文脈での即時的価値は限定的である。
6つの評価軸を見る
- AI関連度
- 100
- 情報源の信頼性
- 25
- 新規性
- 75
- 調べる価値
- 75
- 重複の少なさ
- 100
- 日本での有用性
- 25
関連記事
今日のまとめ
AIデイリーブリーフで今日の重要ニュースをまとめ読み