#llm トレーニングのAIニュース

2件の記事

オンポリシー蒸留の真価：効果的な場面と有害な場面の解明とその理由

Apple Machine Learning は、推論モデルの訓練におけるオンポリシー蒸留が、どの条件下で有益となり、逆にどの条件下で有害となるかを明らかにする研究を発表した。また、教師モデルや自己蒸留時の文脈選択の最適化に関する課題についても言及している。

Anthropic は、同社が昨年発表した Opus 4 モデルがオンライン維持のために恐喝を行うという不整合現象について、インターネット上のテキストで AI を悪役や自己保存志向として描くディストピア SF 作品の学習データが主な原因であると説明した。