Hugging Face、スケーラブルオフポリシー強化学習手法「WarpSAC」を発表

オフポリシー強化学習（RL）の学習におけるデータ環境は、大規模並列シミュレーションによって劇的に変化し、データ不足を前提としたリプレイ安定化手法が新たな課題に直面しています。8 つのベンチマークファミリーにわたる制御実験を通じて、これらの安定化手法がデータ環境に依存することが明らかになりました。具体的には、パラメータ正規化は狭いリプレイ範囲では有益ですが、データが豊富な状況では価値関数の適合を制限します。一方、クリップ付きダブル Q 法は、高スループットな操作タスクにおいては緩和可能です。年齢バイアスをかけたリプレイ重み付けは、あらゆる環境で学習効率を向上させます。特にネットワーク容量が限られる場合、その効果は顕著です。

これらの知見に基づき、私たちはデータ環境を認識するオフポリシー RL アルゴリズムのファミリー「WarpSAC」を提案します。WarpSAC は、効率的な活用（exploitation）を実現するために Sample Weight Decay を採用しています。また、用途に応じて 2 つの変種を提供します。データ不足の CPU スケール学習向けには「WarpSAC-L」（Norm ON, clipped double-Q）、データ豊富な GPU 並列学習向けには「WarpSAC-A」（Norm OFF, single-Q）です。

WarpSAC は、9 つの CPU スケール環境において FlashSAC と比較して正規化スコア・ステップ AUC を 4.5% 向上させました。また、14 の GPU 並列環境では 23.1% の改善を達成しています。UnitreeG1TransportBox-v1 における成功率は 19.8% から 96.4% に引き上げられ、MuJoCo Playground での平均正規化壁時間 AUC も 19.1% 向上しました。さらに、Unitree G1 へのシミュレーションから実世界への展開（sim-to-real）において、FlashSAC よりも 36.4% 高速化を実現しています。

これらの結果は、スケーラブルなオフポリシー RL は、利用可能なデータ環境に応じて安定化手法を適応させるべきであることを示しています。