オンポリシー蒸留の真価：効果的な場面と有害な場面の解明とその理由

記事の3ポイント

1. 1

   オンポリシー蒸留の不確実性の解明

   推論モデルのトレーニングにおいて、オンポリシー蒸留がどの条件下で有益となり、どの条件下で有害となるかについて、依然として明確な知見が存在しない状況を指摘する。

2. 2

   教師モデルと文脈選択の課題

   どの教師モデルを使用すべきか、自己蒸留の場合にどの特定の文脈が監督信号として機能すべきかという重要な問いに対し、最適解がトークンごとに異なる可能性を示唆する。

3. 3

   従来の分析手法の限界

   これらの疑問に答えるために従来必要とされていた高コストなトレーニングランは、個々のトークンレベルでのダイナミクスを隠蔽する集計パフォーマンス指標しか提供できないという課題がある。