#catastrophic forgetting のAIニュース
3件の記事
Amazon Nova Forge におけるハイパーパラメータ最適化の芸術と科学
AWS は、独自データや専門知識を扱うタスクに強い大規模言語モデルを構築する「Amazon Nova Forge」において、ハイパーパラメータ最適化の手法について解説した。
AWS Machine Learning Blog·6月3日·★★★★
分布の視点から見るSFT、RL、およびオンポリシー蒸留
研究チームは、SFT（教師あり微調整）、RL（強化学習）、オンポリシー蒸留という異なる事後学習手法がモデルの確率分布に与える影響を分析しました。その結果、RL は既存能力の忘却リスクを抑えつつタスク性能を向上させる一方、SFT は外部データへの引き寄せにより既存能力を損なう恐れがあることが示されました。また、オンポリシー蒸留は教師モデルを上回る可能性があり、サンプリングデータの重要性が確認されました。
TLDR AI·5月11日·★★★★
知性を損なわずに特化型AIを構築：Nova Forgeデータ混合の実践
大規模言語モデル（LLM）は一般タスクで優れるが、専門作業には課題がある。Supervised Fine-Tuning（SFT）はLLMを組織文脈に適応させ、Parameter-Efficient Fine-Tuning（PEFT）は一部パラメータのみ更新し効率的な学習を実現する。
AWS Machine Learning Blog·3月3日·★★★★