Hugging Face、長期タスク向け自己進化エージェントの環境フィードバック手法を論文公開

記事の3ポイント

1. 1

   環境側適応による報酬希薄化の解決

   従来のエージェント側の事前学習に依存するアプローチから、環境側に適応し、行動ガイダンスから観測の強化へと移行させる「Feedback-Enriched Environments (FEE)」を構築することで、長期タスクでの報酬希薄化問題を克服する。

2. 2

   Qwen3 モデルを用いた大規模実験での性能向上

   SciWorld および BFCL ベンチマークにおいて Qwen3 の各種スケールと GRPO、GSPO、DAPO などの RL アルゴリズムを組み合わせる大規模実験を行い、FEE を採用した方が標準設定よりも一貫してパフォーマンスが向上することを実証する。

3. 3

   学習ダイナミクスの安定化と内部化メカニズムの解明

   FEE による訓練はエントロピー変動を低減して学習ダイナミクスを安定させ、環境ガイダンスが推論時の事前知識としてではなく、ポリシー重みへの内部化を促すことを分析結果が示す。