Hugging Face、スケーラブルオフポリシー強化学習手法「WarpSAC」を発表

記事の3ポイント

1. 1

   データレジーム依存性の解明

   制御実験により、パラメータ正規化やクリップドダブルQなどの従来の安定化手法が、データの少ない環境と多い環境で相反する効果を持つことが示された。

2. 2

   WarpSACアルゴリズムの提案

   データ利用状況に合わせた2つのバリアント（CPUスケール向けのWarpSAC-L、GPU並列向けWarpSAC-A）を備えた「レジーム対応型」オフポリシーRLアルゴリズムファミリーが提案された。

3. 3

   ベンチマークでの性能向上

   CPU環境ではFlashSACより4.5%、GPU並列環境では23.1%のスコア向上を達成し、Unitree G1ロボットの実行成功率も19.8%から96.4%へと劇的に改善した。