#knowledge distillation のAIニュース

2件の記事

オンポリシー蒸留の真価：効果的な場面と有害な場面の解明とその理由

Apple Machine Learning は、推論モデルの訓練におけるオンポリシー蒸留が、どの条件下で有益となり、逆にどの条件下で有害となるかを明らかにする研究を発表した。また、教師モデルや自己蒸留時の文脈選択の最適化に関する課題についても言及している。

記事は、強力なモデルの出力で弱モデルを学習する「蒸留」が米中AI競争で頻繁に議論されていると指摘。専門的な知識蒸留の定義を確認し、中国の大規模言語モデル開発においてこの手法がどの程度重要かを考察する。