Hugging Face、RLVRとOPDを融合した新手法「SAF-OPD」を発表

記事の3ポイント

1. 1

   既存手法の課題特定

   固定係数による強化学習（RLVR）とオンポリシー蒸留（OPD）の単純な融合は、トークンレベルの利得値の不整合や時間的なズレによりエントロピー崩壊を引き起こし、性能向上を阻害する。

2. 2

   SAFフレームワークの提案

   本研究では、OPD 利得のみを対象に、規模制御のための「スパシファイ・コンプレス」と時間制御のための「ウォームアップ・アニーリング」を組み合わせた軽量な4段階パイプラインを構築した。

3. 3

   広範なベンチマークでの検証

   GRPO をベースに Qwen3-1.7B/4B/8B モデルを用いた7つの数学的推論およびコード生成ベンチマークで評価し、全設定で既存の固定係数融合手法を0.51〜2.70%上回る結果を得た。