ページを読み込み中…
ページを読み込み中…
3件の記事
AWS は、独自データや専門知識を扱うタスクに強い大規模言語モデルを構築する「Amazon Nova Forge」において、ハイパーパラメータ最適化の手法について解説した。
研究チームは、SFT（教師あり微調整）、RL（強化学習）、オンポリシー蒸留という異なる事後学習手法がモデルの確率分布に与える影響を分析しました。その結果、RL は既存能力の忘却リスクを抑えつつタスク性能を向上させる一方、SFT は外部データへの引き寄せにより既存能力を損なう恐れがあることが示されました。また、オンポリシー蒸留は教師モデルを上回る可能性があり、サンプリングデータの重要性が確認されました。
大規模言語モデル（LLM）は一般タスクで優れるが、専門作業には課題がある。Supervised Fine-Tuning（SFT）はLLMを組織文脈に適応させ、Parameter-Efficient Fine-Tuning（PEFT）は一部パラメータのみ更新し効率的な学習を実現する。