オンポリシー蒸留の信頼性検証：教師ノイズと自己改善の実態分析

オンポリシー蒸留（OPD）は、検証可能な報酬を持つ強化学習（RLVR）が持つ希薄な結果レベルの代替手段として、密なトークンレベルの監督を提供します。しかし、教師モデルが生徒モデルが生成した軌跡を評価する際、その軌跡は教師にとって本質的にオンポリシーではないため、その監督の信頼性や、生徒モデルの改善源がどこにあるのかは依然として不明瞭です。

私たちは OPD 訓練中の教師による監督を定量的に分析し、そのノイズ量が著しく大きいこと、そしてその割合が教師モデルの規模が大きくなるほど増加することを発見しました。驚くべきことに、生徒モデルはこのノイズに対して不感応であり、ノイズを含む監督を維持するか除去するかに関わらず、同程度の性能に収束します。果たして OPD は本当に蒸留を行っているのでしょうか？

その効果の源泉を分析した結果、学習が低対数確率（log-probability）を持つトークンに集中していることが分かりました。また、教師モデルから提供される複雑な値を用いるのではなく、単一の固定された負のアドバンテージを使用するだけで、同等の性能を達成できることも示されました。これは、OPD の効果は主に低対数確率のトークンを抑制することによるものであり、そのために教師モデルは必ずしも必要ないことを意味しています。

これらの知見に基づき、エントロピー適応型の負のアドバンテージを用いた監督不要手法「オンポリシー自己適応（OPSA）」を提案します。OPSA は、エントロピーの高い位置に対してより強い学習信号を割り当てて尾部のトークンを抑制し、確率質量を主要なトークン間で均等に再分配します。

ベースラインである Qwen3-1.7B と比較して、OPSA は AIME24 ベンチマークにおいて Avg@32 で 35.41 ポイント向上させ、これは 263% の相対的改善に相当します。また、すべてのベンチマークで Pass@32 を倍増させることに成功しました。

また、AIME24 における Avg@32 のスコアでは OPD を 16.77 ポイント上回る結果を示しました。モデルファミリーやタスクにわたる広範な実験と分析により、その有効性と汎用性がさらに実証されています。