Hugging Face、文脈進化型オンポリシー蒸留手法「Flux-OPD」を論文公開

記事の3ポイント

1. 1

   文脈進化型教師の必要性

   オープンエンドな領域では検証可能な報酬が不足しており、タスク選好を形式化するのが困難であるため、学生の性能に合わせて変化する文脈が必要となる。

2. 2

   逆 KL 目的関数の分解分析

   逆 KL 目的関数を分解した結果、学生は文脈条件付き教師の幾何平均へと蒸留されることが明らかになり、同時に教師間の矛盾を測定する項が含まれていることが示された。

3. 3

   Flux-OPD パラダイムの提案

   本研究では、文脈条件付きと非条件付きの教師の違いを文脈差分信号として扱い、これを非条件付き教師アンカーに注入して矛盾項で重み付けする手法を提案した。