Hugging Face、複雑な環境下でのエージェント学習向け黒箱 RL 枠組み「ClawGym II」を発表

記事の3ポイント

1. 1

   サンドボックス基盤の構築

   タスク環境とハッチスを一時サンドボックス内に隔離し、大規模な並列ロールアウトを可能にする実行インフラストラクチャを構築した。

2. 2

   ポリシー最適化の分離手法

   モデル境界にサービングプロキシを設置してモデル呼び出しを捕捉し、不透明なハッチス実行からポリシー最適化を分離する仕組みを採用した。

3. 3

   効率向上のための構造変換

   捕捉した呼び出しを接頭辞木構造に整理することで多ターン軌道を再構築し、Critic-based PPOとCritic-free GRPOの両方を最適化対象とした。