Hugging Face、エージェント強化学習にガウスガイダンスを提案する論文「Agent-G^2」を発表

記事の3ポイント

1. 1

   ガイダンス深度の確率的アプローチ

   既存手法が単一の最適値やスカラー値に依存するのに対し、有用なガイダンスは中心を基準としたガウス分布の帯域上に存在すると特定し、その深さを確率変数として扱う。

2. 2

   不要なプローブロールアウトの排除

   収集済みのロールアウトデータからオンラインで推定を行うことで、深度を個別に推測するための追加ロールアウトや学習済み予測器を一切必要としない仕組みを実現した。

3. 3

   実験環境での性能向上証明

   ALFWorldおよびWebShopにおけるQwen2.5-1.5B/7B-Instructモデルの評価で、既存のヒントベース・フリー・補助強化学習手法を大幅に上回るスコアを獲得した。