オンポリシー蒸留の信頼性検証：教師ノイズと自己改善の実態分析

記事の3ポイント

1. 1

   On-policy Distillation のノイズと実態

   教師モデルが生成する軌道は本質的にオフポリシーであり、その監督にはスケールに比例して増大するノイズが含まれる。しかし学生モデルはこのノイズに対して不感で、教師の指導の有無に関わらず同程度の性能へ収束することが判明した。

2. 2

   学習メカニズムの解明

   On-policy Distillation の効果は主に低対数確率トークンの抑制に起因しており、教師が提供する複雑な信号ではなく単一の固定負の利得でも同等の性能が達成可能である。

3. 3

   On-Policy Self-Adaptation (OPSA) の提案

   教師を不要とする新手法 OPSA が提案され、エントロピー適応型負の利得を用いて高エントロピー位置に強い学習信号を与え、確率質量を再分配する。