大規模言語モデルの多タスク学習における SFT と RL の分析

記事の3ポイント

1. 1

   SFT と RL の挙動の根本的差異

   多段階トレーニング下では SFT が深刻なタスク競合に陥るが、RL は多様なタスク間で安定して共存できることが実験で確認された。

2. 2

   パラメータレベルでの原因解明

   RL はタスク間において疎かつほぼ直交する更新を引き起こし、これが安定性の源泉であることがパラメータレベルで特定された。

3. 3

   競合の理論的メカニズムの対比

   SFT の干渉は勾配絶対値に比例して拡大するノルム制限型であるが、RL はアドバンテージ正規化とオンポリシー最適化による分散制限型であり、これが直交方向を生む。