#逆 kl 発散 のAIニュース

Hugging Face、文脈進化型オンポリシー蒸留手法「Flux-OPD」を論文公開

Hugging Face が、オープンエンド領域における大規模言語モデルの学習課題に対し、生徒モデルの性能に応じて変化する文脈を用いたオンポリシー蒸留手法「Flux-OPD」を提案し、その不安定性を解消するメカニズムを示した。