Hugging Face、検証器に基づく自己改善手法「FlowBalance」を発表

推論モデルは、自らのオンポリシー経験から学習して改善することが可能ですが、この内部ループは脆いものです。ターミナル検証器は信頼性が高くスパースな監督信号を提供しますが、同一モデルによる密なガイダンスは、誤った自信を強化したり、学習が狭い解モードに過度に集中させたりするリスクがあります。

そこで我々は「FlowBalance」を導入しました。これは完全な応答全体に対する正規化分布を学習する、検証器に基づく自己改善手法です。各オンポリシー軌道において、同じポリシーのトレーニング時における凍結されたビューが、特権コンテキストを用いてトークンレベルの対数確率増分を生成します。これを集約して、軌道レベルの自己ガイダンススコアとします。

FlowBalance はこのスコアを検証器由来のグループアドバンテージでキャリブレーション（較正）します。具体的には、正のアドバンテージを持つ軌道ではガイダンスを保持し、負のアドバンテージを持つ軌道ではガイダンスを反転させ、ロールアウトグループが結果の好みを示さない場合はガイダンスを無効化します。

その結果、参照ポリシーに対するエネルギーは指数関数的に重み付けされ、プロファイルされた軌道バランスにより、各ロールアウトグループごとに 1 つの対数部分推定量を用いて正規化ターゲットへの適合が可能になります。これにより、トークンレベルの模倣損失を別途用意することなく、結果キャリブレーションされた自己ガイダンスを実現します。

我々の分析では、グループ内での対比保存性、最小変化逆 KL 特性、目標報酬に対する検証器による単調制御、および拒否された応答における誤った自己ガイダンスに対する正確な補正が示されています。

数学的推論において、FlowBalance は Qwen3-4B および Qwen3-8B の両モデルで FlowRL を上回る平均性能を達成しました。さらに、学習速度と安定性の向上も実現し、直接 OPSD による応答長の崩壊を防ぐとともに、制御された AIME24 の診断テストでは正解戦略の多様性が高まることが確認されています。