Z.ai の安定した非同期強化学習（13 分読了）

記事の3ポイント

1. 1

   単一ロールアウトによるオフポリシー効果の低減

   既存の GRPO フレームワークが抱えるグループサンプリングの問題を解決するため、1 つのプロンプトに対して 1 つのロールアウトを使用する戦略を採用した。

2. 2

   厳格なトークンレベルクリッピングの実装

   最適化の安定性を確保するために、双方向の厳格なトークンレベルクリッピング戦略を導入し、千ステップにわたる安定した訓練を可能にした。

3. 3

   GLM-5.2 モデルへの実装成功

   SAO は 750B-A40B の構成を持つ GLM-5.2 オープンモデルの訓練パイプラインに実際に展開され、コード生成や推論ベンチマークで GRPO を上回る性能を発揮した。