GSPO：言語モデル向けスケーラブル強化学習へ向けて

PAPER DISCORD

導入 強化学習（Reinforcement Learning）は、言語モデルのスケール化と、その深い推論能力や問題解決能力の向上において中核的なパラダイムとして台頭しています。強化学習をスケールさせるための最優先の前提条件は、安定した堅牢なトレーニング動態を維持することです。しかし、既存の強化学習アルゴリズム（GRPO など）は、長期トレーニング中に深刻な不安定性を示し、不可逆的なモデル崩壊を引き起こすことが観察されています。これは計算リソースを増やしてもさらなる性能向上を阻害する要因となっています。

成功した強化学習のスケール化を実現するために、私たちはグループシーケンスポリシー最適化（Group Sequence Policy Optimization: GSPO）アルゴリズムを提案します。