ページを読み込み中…
3件の記事
SFT は多段階トレーニングで深刻な競合を起こすが、RL はパラメータ更新が疎で直交するため安定して共存できる。
Amazon Science は、複数の目的を同時に扱う際に対立が生じる課題に対し、グラフ自己教師あり学習の文脈で産業機械のコントローラーから着想を得た協調手法を提案し、ICML で発表した。
Googleが開発した小規模スコアラー「Cappy」が、大規模言語モデルの性能向上と効率化を実現する手法を紹介。