Google、LLMによるロボット制御を教示しロボティクスブームの火付け役に

Robot Week の3日目です。年間サブスクリプションが25%オフになるリンクはこちら。

多くの人が大規模言語モデル（LLM）を知ったのは、OpenAI が 2022 年に ChatGPT を発表した時でした。しかし、多くの AI 研究者の頭の中では、真のブレイクスルーはそれから2年前、GPT-3 のリリースにありました。

1750億ものパラメータを持つ OpenAI のモデルは、前世代の GPT-2 よりも100倍以上巨大でした。学習には膨大な3000億トークンが使用されています。その結果、以前のモデルよりもはるかに汎化能力が高まりました。初めて、単一のモデルで言語間の翻訳から雑学クイズへの回答まで、タスク固有のトレーニングなしに多様な作業をこなせるようになったのです。

OpenAI がこの生粋の「ベースモデル」を ChatGPT のようなユーザーフレンドリーなチャットボットへと進化させる技術を開発するには、さらに2年かかりました。そして、長文脈推論やツール利用、コンテキスト管理といった技術を確立して、初期のチャットボットを現在の強力なエージェントへと変貌させるには、さらに数年が必要でした。

要するに、2020 年の GPT-3 から 2025 年の Claude Code までには長い道のりがありました。しかし、どこを見るべきかを知っている人にとっては、LLM の可能性はすでに 2020 年に明確に見えていたのです。

ロボティクス界も今、同じ道を歩み始めています。その「GPT-3 的瞬間」が訪れたのは 2023 年 7 月、Google が RT-2 というモデルを発表した時です。このモデルは、マルチモーダルな大規模言語モデル（LLM）をトレーニングして、ロボット行動を直接生成する仕組みになっています。

RT-2 は Google の最初のトランスフォーマーベースのロボティクスモデルではありませんでした。数ヶ月前には先行モデルである RT-1 も発表されていますが、RT-2 はそれ以前のモデルとは桁違いに規模が大きかったのです。RT-1 のパラメータ数は 3500 万でしたが、RT-2 は数十億のパラメータを有していました。

GPT-3 と同様、規模の大きさが重要でした。RT-2 チームは、このモデルが「物体、シーン、指示に対する一般化能力に顕著な改善が見られた」と報告しています。さらに、「ウェブスケールのビジョン・ランゲージ事前学習から受け継がれた広範な創発的能力を示した」とも付け加えています。

例えば、研究者たちはカウンターの上にコカ・コーラの缶を置き、その隣にはスヌープドッグ、トム・クルーズ、テイラー・スウィフトの額縁入りの写真を並べました。そしてロボットに「コカ・コーラをテイラー・スウィフトの方へ動かして」と指示しました。するとロボットは缶をつかみ、スウィフトの写真の方向へと移動させたのです。

当時、RT-2 チームの一員だったカロル・ハウスマンは、3 月のインタビューでこれを「非常に大きな興奮」の瞬間だと振り返っています。「ロボットモデルにはテイラー・スウィフトに関するデータが一度も含まれていなかったからです。モデルは『テイラー・スウィフト』という概念を理解し、そのイメージと結びつけ、さらにコカ・コーラ缶をスウィフトの写真の方へ動かす適切な動作へとつなげなければなりませんでした。これらはすべてインターネット上のデータから成し遂げられたことなのです」

「これが実現可能だと確信した瞬間です。LLM やインターネットから得た豊富な事前知識をロボット動作に結びつけることが可能になる」と、ハウスマン氏は語りました。

Google はこのモデルを「ビジョン・ランゲージ・アクション（VLA）モデル」と名付けました。Google のアプローチと VLA という用語はすぐに業界標準となりました。しかし RT-2 がどれほど印象的であったかにかかわらず、重大な欠陥も抱えていました。その課題に対して、業界は過去 3 年間にわたり改善に取り組んできました。

RT-2 の画期的な成果は、以来続くロボット産業のブームに火をつけました。米国と中国の大企業はいずれもロボット開発に巨額の資金を投入しています。多くのロボットスタートアップが設立され、その中にはベンチャーキャピタルから数億ドル規模の資金調達を果たした企業も複数あります。これらのロボットの多くを支えるモデルは、Google が 2023 年に確立した基本アーキテクチャに基づいています。

初の VLA モデルである RT-2 の起源

RT-2 の訓練に使用されたロボット。（画像提供：Google）

Google は 2017 年にトランスフォーマーを考案し、以来大規模言語モデルの実験を続けてきました。同社はまた、長年ロボット技術の開発にも取り組んできました。そのため、LLM とロボットの組み合わせは自然な研究の方向性でした。

2023 年 3 月、Google はロボット制御に最適化された 120 億パラメータのモデル「PaLM-E」を発表しました。名前の末尾にある"E"は"embodied（身体性を持つ）"を意味します。PaLM-E はビジョン・ランゲージ・モデル（VLM）であり、テキストだけでなく画像も理解できる大規模言語モデル（LLM）として訓練されています。このモデルは、「青いブロックを左に動かす」のような自然言語によるロボット命令の生成にも対応していました。

しかし、PaLM-E 単体ではロボットを直接制御することはできませんでした。当時の Google のロボットには、PaLM-E のような大規模な VLM を動作させるための十分なオンボード計算リソースが備わっていなかったのです。そのため PaLM-E はクラウド上で実行され、ロボット側で動作するもう一つの小型モデルと連携するように設計されました。この小型モデルは、PaLM-E が出力した英語の指示を、ロボットの低レベルな制御コマンドに変換する役割を担いました。

RT-2 チームの計画はシンプルでした。小型モデルを削除し、代わりに PaLM-E を直接ロボットを制御するために訓練することです。1 RT-2 も PaLM-E と同様に、サイズが大きすぎてロボット本体で直接実行することはできません。そのためチームは、このモデルを Google のデータセンター内で実行し、ネットワーク経由でロボットへコマンドを送信する仕組みを採用しました。

他の LLM 同様、RT-2 もプロンプトを通じて動作します。Google はロボットのカメラから取得した画像とともに、「コカ・コーラの缶をテイラー・スウィフトに渡すためにロボットはどのような行動を取るべきか？」といったプロンプトを RT-2 に送信しました。

RT-2 は「1 128 91 241 5 101 127 217」のような数値の列を出力します。ロボットはこの数値列を命令として解釈し、グリッパーを特定の x-y-z 座標（例：x=128, y=91, z=241）へ移動させ、指定された角度（ロール=5, ヨー=101, ピッチ=127）に回転させた上で、グリッパーの開閉を特定の位置（217）で行います。

次に RT-2 は同じプロンプトを受け取りますが、今回は新しい画像が提示されます。モデルはロボットアームの新たな目標位置を表す数値列を生成します。ロボットはその数値に従ってアームを数インチ動かします。このサイクルは繰り返され、「コカ・コーラの缶をテイラー・スウィフトの元へ運ぶ」といったタスクを完了するまで、数十回の反復が必要になることもあります。

PaLM-E を RT-2 へと進化させるにあたり、Google はモデルに低レベルなロボット指令を生成する方法を教える必要がありました。これには従来のデータとは異なる種類のトレーニングデータが不可欠でした。

そのデータを収集するため、Google はテスト用キッチン 3 つを建設し、13 台のロボットを購入しました。17 ヶ月間にわたり、人間作業者が遠隔操作でロボットを動かしてタスクを実行させました。具体的には、物体の把持や引き出しの開閉、物体を引き出しに収める作業などを行い、これらを合計 13 万回以上実施したのです。

このデータを用いて PaLM-E を訓練した結果、RT-2 は驚くほど幅広い能力を獲得しました。ロボットはこれまで見たことのない物体も操作できるようになり、新しいキッチン環境でも動作可能となりました。また、タスクに不要な「邪魔になる物体」で散らかったカウンター上での作業も成功させることができます。

5 人のロボティクス研究者が Google を離れ、Physical Intelligence の共同設立に参加しました

Karol Hausman は RT-2 の画期的な成果に興奮しましたが、同時に Google がその技術を発展させるのに最適な場所ではないと結論付けました。

「この課題を解決するには、物理的な知能の解明を唯一の目的とする組織を作る必要がある」と Hausman は 3 月に語りました。「他の組織で優先順位が 20 番目のタスクとして扱うことでは、解決できません。」

そこで Hausman は、スタートアップ「Physical Intelligence」の CEO に就任しました。彼には Google の RT-2 チームから 4 人のメンバーと、外部から 2 人が加わりました。

Hausman によると、チームは「短期的な収益を追求するのではなく、研究企業として出発することを完全に理解している投資家」を探しました。

「この取り組みが成功すれば、世界を根本から変えることになるでしょう。そして史上最高の価値を持つビジネスになるはずです」と Hausman は語りました。「しかし、正しい方法で進めるためには、忍耐強く見守る必要があります。」

やるべきことは山積みでした。RT-2 は以前のロボットモデルに比べて大幅な改善が見られましたが、依然として平均的な人間の能力には遠く及びませんでした。過去 2 年間、Physical Intelligence（PI）チームはこの格差を埋めるために必死に取り組んできました。同社は非常に透明性が高く、これまでに少なくとも 10 本の論文を発表して研究内容を公開しています。この記事のために私は、PI の論文をすべて読み込み、さらに他社や学術機関から 20 本以上の関連論文も調査しました。

PI の研究を事例に、過去3年間にわたる VLA モデルの進化について解説します。この期間中、VLA で制御されるロボットは微細な運動制御能力を大幅に向上させました。また、数分間続く複雑なタスクを実行する能力も獲得しています。さらに企業では、テキストだけでなく画像を用いてモデルが推論を行う新たなアプローチを探っており、これにより人間がタスクを実行する動画から学習する可能性が開かれるでしょう。

最後に、VLA モデルが「ワールドモデル」と呼ばれる新しいアーキテクチャによって置き換えられようとしているという見解について議論します。PI の共同創設者である Sergey Levine 氏はこの点について説得力のある見解を示しており、私もその考えに同意しています。

Robot Week スペシャル：年間購読が25%オフになります。こちらから。

ロボットの微細な運動能力の向上

Hausman は RT-2 がコーラ缶をテイラー・スウィフトに渡せたことに感銘を受けました。しかし、同じインタビューの後半では、「全く印象的ではない」「ロボットができることの悲惨なデモだ」と評しています。一見矛盾しているように聞こえますが、動画を見ればその意図が理解できるでしょう：