Z.ai の安定した非同期強化学習（13 分読了）

Z.ai の安定した非同期強化学習（13 分読了）

PDF を表示

HTML (実験版)

要旨：強化学習（RL）は、大規模言語モデル（LLM）のポストトレーニングにおいて重要性を増しています。これまでの LLM 向け RL パイプラインは主に同期型でバッチ間隔処理が主流でしたが、これは長期にわたるエージェントタスクには非効率的です。最近では、ロールアウトが到着するたびにモデルを更新する「非同期 RL」がより効率的な代替手段として注目されています。しかし既存の非同期 RL システムはスループットを重視する傾向があり、トレーニングの安定性やタスクの実効性については十分に探求されていませんでした。例えば、広く使われている GRPO フレームワークにおけるグループごとのサンプリングは、非同期型エージェント学習には自然に適合しません。

本稿では、非同期 RL の安定性とオフポリシー（学習データ分布と行動分布の不一致）の問題に対処する「シングルロールアウト非同期最適化（SAO）」を提案します。オフポリシー効果の低減と汎化性能の向上を図るため、グループごとのサンプリングに代わり、1 つのプロンプトに対して 1 つのロールアウトのみを使用するシングルロールアウト・サンプリングを採用しました。さらにこの戦略を実用的な価値モデル（Value Model）の学習設計によって強化しています。

最適化の安定性を高めるために、厳格なダブルサイド・トークンレベルのクリッピング手法を導入しました。SAO は 1000 ステップにわたって安定して訓練可能であり、SWE-Bench Verified、BeyondAIME、IMOAnswerBench といったエージェント向けコーディングおよび推論ベンチマークにおいて、GRPO およびその派生モデルを一貫して上回る性能を示します。

また、単一ロールアウトの強化学習（RL）が、モデルが変化する環境に適応する必要があるシミュレーション上のオンライン学習設定において特に効果的であることを実証しました。これを実現するため、SAO はオープンソースの GLM-5.2 モデル（750B-A40B）を訓練するためのエージェント型 RL パイプラインに成功裡に導入されました。

提出履歴

送信者：Zhenyu Hou [メールを表示] [v1]

2026年7月8日水曜日 15:02:19 UTC (341 KB)