Seed Research｜GR-RL発表：VLAの細かい操作のボトルネックを突破し、初めて実機での強化学習による靴紐結びを実現

Seed Research｜GR-RL 发布：突破 VLA 精细操作瓶颈，首次实现真机强化学习穿鞋带

原创 Seed Research 2025-12-02 12:23 北京

让 VLA 在真实环境中交互学习

在 Scaling Law（扩展定律）的推动下，具身智能正迎来关键突破，基于海量数据预训练的视觉 - 语言 - 动作（Visual-Language-Action, VLA）模型已展现出不错的通用泛化能力。

然而，当我们将机器人的应用场景从理想的实验室环境搬进复杂的家庭环境中，面对诸如“穿鞋带”这类看似琐碎，实则要求高精度、高鲁棒性、柔性物体操作的任务时，现有的 SOTA（State-of-the-Art，最先进）模型往往表现得力不从心。

对人类而言，“穿鞋带”是肌肉记忆；但对机器人而言，这是操作领域最难的灵巧任务之一。

为何拥有“通用大脑”的机器人，却依然做不好这件小事？

字节跳动 Seed 团队研究发现，症结在于主流模仿学习（Imitation Learning）范式存在两大内生缺陷——人类演示数据的“次优性”以及训练与推理之间的“执行错位”。为了突破这一瓶颈，团队并未依赖难以建模的仿真学习，而是选择探索一条更具挑战性的路径：真机强化学习 (Real-world Reinforcement Learning)。

基于此，字节跳动 Seed 团队发布最新研究成果 GR-RL，着力于拓展 VLA 模型在长时程精细灵巧操作方面的能力边界。

GR-RL 以多阶段强化学习实现穿鞋带

GR-RL 提出了一套从离线数据筛选到在线真机微调的强化学习框架，在业界首次实现“让机器人给整只鞋连续穿鞋带”。相较前作监督学习模型 GR-3，GR-RL 在穿鞋带任务上将成功率从 45.7% 提升至 83.3%，减少了近 70% 的失败情况。

本文将深度解读 GR-RL 如何通过一套从经验中自主学习的多阶段训练方法，攻克柔性物体操作难题。

论文链接：

https://arxiv.org/abs/2512.01801

项目主页：

シード・リサーチ｜GR-RL 発表：VLA 精密操作のボトルネックを突破、実機での強化学習による靴紐結びを初めて実現（続き 2/6）

https://seed.bytedance.com/gr_rl

汎用基盤から精密操作へ

VLA モデルを実用的なものへと導く

事前学習は VLA モデルに一般的な知覚と意思決定能力を提供しますが、それが特定の応用シーンでそのまま信頼して動作できることを意味するわけではありません。

この限界を検証するため、チームは「靴紐を結ぶ」というタスクを試金石として選びました。このタスクはロボット操作分野における三大の課題を集約しています：

柔軟な相互作用：靴紐の形状は外力に応じてリアルタイムに変化し、予測が困難です。

極限の精度：靴紐を穴に通すためにはミリメートル単位の制御精度が必要です。

長時間の頑健性：数分間の連続操作において、あらゆる突発的な状況に対処する必要があります。

チームは、優れた汎化能力を持つ汎用ロボットモデル GR-3（ロボット軌跡、人間のデモデータ、公開された画像・テキストデータを基に訓練）でさえも、此类タスクに対しては直接微調整を行っても実用的な戦略を得ることはできないことを発見しました。

なぜ主流の模倣学習がここで失敗するのか？チームは以下の 2 つの主要な技術的難点をまとめました：

人間のデモデータに「非最適断片」が含まれていること：極めて高精度な器用操作の場面では、人間の実演者は無意識に動作を遅くしたり、躊躇したり、途中で何度も失敗して修正したりします。これをそのまま模倣学習すると、モデルは無効あるいは誤った動作を記憶してしまい、戦略が不確かで精密さを欠いてしまいます。

訓練と推論における「実行のズレ」：滑らかな推論と制御を実現するために、業界では通常、予測された動作ブロックに対して後処理を行います。例えば、時系列アンサンブル（Temporal Ensembling）や再帰的ホライゾン制御（Receding Horizon Control）などです。これらの最適化手法は動作の滑らかさを保証する一方で、モデルが訓練時に学習した動作（Predicted Action）と推論時に実行される動作（Final Action）との間に不一致を生じさせます。ミリメートル単位の精度操作においては、このズレが動作と環境フィードバックの真の因果連鎖を断ち切り、タスクの失敗につながります。

VLA の精密操作におけるボトルネックを突破するためには、新しいアプローチが必要です：質にばらつきのあるデモデータから高品質な行動を抽出できると同時に、モデルが環境の中で試行錯誤し練習することで、自身の経験データを用いて実際の展開環境に適応できるようにする手法です。

オフライン＋オンラインの多段階強化学習

ロボットを試行錯誤の中で継続的に学習させる

前述したデータの非最適性と実行エラーという課題に対し、Seed チームは長時間かつ高精度な器用操作に適した GR-RL モデルを提案しました。

既存の VLA 基盤に加え、GR-RL は追加の判別器ネットワーク（Critic Transformer）を導入し、ロボットの動作の質を評価します。このネットワークは動作シーケンス内の各時刻の動作に対して個別にスコアリングを行います。具体的には、GR-RL は値分布強化学習を採用し、判別器の出力を離散確率分布と仮定することで、実環境に存在するノイズをより頑健に捉えるようにしています。

GR-RL のモデルアーキテクチャ

このアーキテクチャに基づき、GR-RL は経験から選別し、実践で進化させる多段階訓練フレームワークを設計しました。このフレームワークには 3 つの核心要素が含まれています：オフライン強化学習、データ拡張、およびオンライン強化学習です。

オフラインフェーズ：評価モデルによるデータの「偽物除去」

人間のデモデータには非最適断片が混在しています。GR-RL の最初のステップは、上記の判別器ネットワーク（すなわち Critic 価値評価モデル）をオフライン強化学習で訓練し、モデルにまず「何が誤った動作か」を学ばせることです。

「反事実的」負のサンプルを構築する：遠隔操作によって収集された軌跡は成功事例が多く、失敗事例が不足しているため、チームは各軌跡に再試行を開始する重要なフレームをマーキングし、より多くの失敗軌跡を構成しました。ある成功した元の軌跡をimageと仮定し、その中で再試行開始の重要なフレームimageをマーキングします。元の成功軌跡に加え、システムは再試行前の断片imageを切り取り、これを失敗軌跡としてマーキングします。この手法により、追加の収集コストを増やすことなく、負のサンプル空間を大幅に拡張しています。

価値判別器の訓練：成功と失敗が混在する軌跡セット上で、チームは時系列差分学習（TD Learning）を用いて Critic 価値評価モデルを訓練します。以下の図は、ある収集された軌跡上での評価モデルの予測状況を示しています。オペレーターのエラーにより靴紐が穴から滑り落ちた際、Critic の予測値（Q-value）は急激に低下し、オペレーターが2回目の試行で成功して穴に通した際には、予測値は即座に回復して安定して上昇します。これに基づき、チームは Q 値が急降下する低価値の断片を除外し、高品質なデータのみを監督学習に使用することで、より純粋な基本戦略を獲得しました。

評価モデルによる収集軌跡断片の良否判定

データ拡張：物理的な「対称性」による汎化理解の強化

チームは両腕協働タスクの鏡像対称性を活用し、全方位のデータ拡張戦略を設計しました。画像、オントロジー状態（本体の状態）、動作軌跡、言語指令に対して左右の鏡像反転を行います。これによりデータ量が2倍に増えるだけでなく、モデルが空間関係に対する汎化理解を向上させます。

オンラインフェーズ：誘導強化学習による微細訓練

チームは、モデルがシステム全体の最適化をすべて強化学習環境の一部と見なし、閉ループのオンライン相互作用を通じて探索と自己最適化を行うことが、微細な操作において極めて重要であることを発見しました。チームは、フローモデルのノイズ除去プロセスを微調整するために誘導型強化学習（steering RL）手法を採用し、ロボットの動作を評価モデルの高い報酬領域へと導きます。

潜在空間内での探索：タスク完了にはミリメートル単位の精度制御が必要であるため、手首や関節位置などの元の動作空間にランダムノイズを追加する従来の方法では、成功した軌道を探り出すことはほぼ不可能です。そこでチームは、潜在空間内で構造化された探索を行い、フローモデル戦略の入力ノイズを調整することで、戦略が異なる軌道を予測するように誘導します。チームは VLM 骨格ネットワークの後に、わずか 51.5M パラメータのノイズ予測器を導入しました。この予測器はフローモデルの入力ノイズを調整し、生成された軌道が評価モデルの高いスコア領域へと偏るように導きます。

デュアルバッファ戦略：サンプル効率と分布シフトのバランスを取るため、チームは 2 つのバッファプールを維持しています。異方性（オフポリシー）バッファプールには、過去の重みで生成された相互作用データが保存され、Critic の予備学習に使用されます。一方、同方性（オンポリシー）バッファプールには、直近の 2 バージョンのモデルによって生成された軌道のみが保存されます。訓練時には、システムは 2 つのプールから 1:1 で均等にサンプリングします。この戦略により、サンプル利用率が保証されると同時に、モデルの急速な更新による分布シフトを回避し、オンライン微調整の堅牢性と効率性が確保されます。

GR-RL の実機実験検証

成功率の倍増から「誤り修正」知能の創発へ

二腕式車輪型ロボット ByteMini-v2 上で、チームは「靴紐を通す」というタスクに基づき GR-RL をフルプロセスで検証しました。このロボットは、人間の手首のように柔軟に回転できる独自の球形手首関節設計を備えており、微細な器用作業において独自の優位性を発揮します。

チームは厳格な実験基準を設けました：スパース報酬関数を採用し、靴紐が指定された穴を成功裡に通って再び机の上に置かれたという最終状態のみでモデルに 1 点の報酬を与え、それ以外の状況では 0 点とします。モデルへの観測には、ヘッドと手首の 3 つの視点からの RGB 画像、ロボット本体の状態情報、および言語指令が含まれます。

ByteMini-v2 ロボット

実験結果によると、純粋な模倣学習のベースライン（GR-3）の成功率はわずか 45.7% で、微細な操作には対応しきれませんでした。GR-RL は多段階訓練フレームワークを通じて性能を階段状に向上させました。3 つのコアコンポーネントすべてが成功率の向上に重要な貢献を果たしています：

データフィルタリング：次最適データを除去した後、オフラインデータフィルタリングにより成功率は 61.6% に向上しました。

データ拡張：ミラー画像データの導入により、成功率は 72.7% まで引き上げられました。

オンライン強化学習：拡張されたオフライン学習モデルをオンライン強化学習の起点とし、約 150 本の軌道を実機での閉ループ探索と修正を経て、GR-RL の最終的な成功率は 83.3% に上昇しました。

左図：多段階訓練による階段状の成功率向上；

右図：オンライン強化学習における成功率の変化曲線

実験において、チームは強化学習を導入した GR-RL が、人間のような誤り修正の知能を備えていることを観察しました。モデルはミスに対処する際に堅牢に回復します：例えば、靴ひもが把持や穿孔の過程で予期せず滑り落ちた場合でも、モデルはフリーズすることなく自発的に再試行を行います；初期配置が困難な状況（例：靴ひもが押さえつけられている場合）では、モデルは自らをより慣れ親しんだ状態へとシナリオを調整し、その後にタスクを完了します。

ミスに対処する際、GR-RL は自発的に再試行を行う

配置が不自然な場合、GR-RL は積極的に調整を行う

この「知覚 - 意思決定 - 修正」の閉ループ能力は、モデルが単に軌跡を記憶しているのではなく、タスクの物理的論理を真に理解していることを証明しています。

まとめと展望

GR-RL の研究は一つの事実を検証しました：長時間かつ極めて高精度な柔軟物体の操作においては、実機での強化学習が有効な技術経路であるということです。これにより、シミュレーションに依存できない状況下でも、閉ループインタラクションを通じて模倣学習のパフォーマンスの天井を突破することが可能となりました。

しかし、実際の探求において、チームは現在のソリューションにも限界があることを発見しました：現在のプロセスにおける主要な問題の一つは行動の偏りです。スパースでノイズを含む報酬信号の下では、オンライン強化学習段階におけるモデルの行動が不安定になる可能性があります。これは軽量なノイズ予測器の容量に限界があることに起因するものかもしれませんし、膨大な潜在空間内の動作空間において、信用配分（Credit Assignment）自体が課題となることによるものかもしれません。

チームは、強化学習は孤立した微調整の工程であってはならないと考えています。今後の鍵は、実機での閉ループインタラクションから得られた RL 経験を、基礎的な VLA モデルに蒸留することにある可能性があります。このデータによるフィードバックを通じて、高精度な操作性能と強力な汎化能力を兼ね備えた汎用戦略の構築が期待されます。

原文を読む

WeChat で開くにはこちらへ