Hugging Face、多報酬ポリシー最適化における飽和意識型アバウンテージ再重み付け手法を論文公開

記事の3ポイント

1. 1

   既存手法の根本的問題

   既存のグループ相対利得に基づく最適化では、固定された重み付けにより飽和済みの目標に勾配予算が浪費され、未解決の課題への学習が進まない。

2. 2

   SA-MRPOの提案

   各報酬目標を独立して標準化し、バッチレベルでの飽和度推定に基づいて寄与度を適応的に減衰させる「Saturation Aware Advantage Reweighting」手法を導入した。

3. 3

   性能向上の実証

   数学的推論タスクでは15件中12件でGDPOを上回り、適応的推論やコーディングベンチマークでも精度とパス率がそれぞれ最大9.2%、2.3%向上した。