Z.ai の安定した非同期強化学習（13 分読了）
Z.ai は学習の安定性を向上させる新たな非同期強化学習手法を発表し、その技術的詳細と実装アプローチを解説した。
キーポイント
非同期強化学習の安定性向上
従来の非同期手法が抱えていた学習不安定性を解消する新しいアルゴリズムを提案している。
技術的詳細と実装アプローチ
発表記事では、新手法の数学的根拠から具体的なコード実装に至るまでの詳細なプロセスが解説されている。
Z.ai の研究発表
Z.ai が独自に開発した強化学習技術の進歩を、TLDR AI を通じてコミュニティへ共有している。
重要な引用
Z.ai が、学習の安定性を向上させる新しい非同期強化学習手法を発表し
その技術的詳細と実装アプローチを解説している
影響分析・編集コメントを表示
影響分析
この記事は、強化学習の実装において長年課題となっていた「非同期処理時の不安定性」に対する具体的な解決策を提示しており、実務レベルでの RL システム構築の指針となる可能性があります。特に、理論と実装の両面から解説されている点は、開発者にとって即座に検証可能な価値のある情報です。
編集コメント
強化学習の実装現場で直面しがちな不安定性問題に対し、具体的なアルゴリズムと実装例を提供する貴重な記事です。開発者が即座に検証できる内容となっています。
要約: 強化学習（RL）は、大規模言語モデル（LLM）のポストトレーニングにおいて重要性を増しています。従来の LLM 向けの RL パイプラインは主に同期型かつバッチ間隔処理であり、長期ホライズンのエージェントタスクには非効率的でした。最近では、ロールアウトが到着するたびにモデルを更新する非同期 RL がより効率的な代替手段として登場しました。しかし、既存の非同期 RL システムはスループットを重視する傾向があり、トレーニングの安定性とタスクの有効性については十分に探求されていません。例えば、広く使用されている GRPO フレームワークにおけるグループ別サンプリングは、非同期エージェントトレーニングに自然には適合しません。本論文では、非同期 RL の安定性とオフポリシー課題に対処するために、シングルロールアウト非同期最適化（SAO）を提案します。オフポリシー効果を低減し一般化性能を向上させるため、グループ別サンプリングをシングルロールアウトサンプリング、つまりプロンプトごとに 1 つのロールアウトを使用する方式に置き換えます。さらに、このシングルロールアウト戦略を実用的なバリューモデルトレーニング設計によって改善します。最適化の安定性を高めるために、厳格なダブルサイドトークンレベルクリッピング戦略を導入しました。SAO は 1000 ステップにわたって安定して訓練可能であり、SWE-Bench Verified、BeyondAIME、IMOAnswerBench といったエージェントコーディングおよび推論ベンチマークにおいて GRPO およびその派生手法を一貫して上回ります。また、モデルが変化する進化環境に適応しなければならないシミュレーションされたオンライン学習設定において、シングルロールアウト RL が特に効果的であることを実証します。これを実現するため、SAO はオープンソースの GLM-5.2 モデル（750B-A40B）を訓練するエージェント RL パイプラインに成功裡に導入されました。
主題:
マシンラーニング (cs.LG); 人工知能 (cs.AI)
引用形式:
arXiv:2607.07508 [cs.LG]
(または、このバージョンについては
arXiv:2607.07508v1 [cs.LG])
https://doi.org/10.48550/arXiv.2607.07508
arXiv 発行 DOI (DataCite 経由)
## 提出履歴
From: Zhenyu Hou [メールを表示]
[v1]**
2026 年 7 月 8 日水曜日 15:02:19 UTC (341 KB)
原文を表示
Abstract:Reinforcement learning (RL) is becoming increasingly important for post-training large language models (LLMs). Previous RL pipelines for LLMs were mostly synchronous and batch-interleaved, which is inefficient for long-horizon agentic tasks. Recently, asynchronous RL has emerged as a more efficient alternative by updating the model as rollouts arrive. However, existing asynchronous RL systems often emphasize throughput, while leaving training stability and task effectiveness largely underexplored. For example, a key challenge is that group-wise sampling in the widely-used GRPO framework does not naturally fit asynchronous agentic training. In this paper, we present Single-rollout Asynchronous Optimization (SAO) to address the stability and off-policy challenges in asynchronous RL. To reduce off-policy effects and improve generalization, we replace group-wise sampling with single-rollout sampling, that is, using one rollout per prompt. We further improve this single-rollout strategy with practical value-model training designs. To improve optimization stability, we introduce a strict double-side token-level clipping strategy. SAO is able to train stably for one thousand steps and consistently outperform GRPO and its variants on agentic coding and reasoning benchmarks, such as SWE-Bench Verified, BeyondAIME, and IMOAnswerBench. We also demonstrate that single-rollout RL is particularly effective in a simulated online learning setting, where the model must adapt to changing evolving environments. To this end, SAO is successfully deployed in the agentic RL pipeline for training the open GLM-5.2 model (750B-A40B).
Subjects:
Machine Learning (cs.LG); Artificial Intelligence (cs.AI)
Cite as:
arXiv:2607.07508 [cs.LG]
(or
arXiv:2607.07508v1 [cs.LG] for this version)
https://doi.org/10.48550/arXiv.2607.07508
arXiv-issued DOI via DataCite
Submission history
From: Zhenyu Hou [view email] [v1]
Wed, 8 Jul 2026 15:02:19 UTC (341 KB)
関連記事
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み