Hugging Face、検証器に基づく自己改善手法「FlowBalance」を発表

記事の3ポイント

1. 1

   検証器に基づく自己改善手法の提案

   FlowBalance は、同じモデルによる密なガイダンスが偽の自信や学習の偏りを招く問題を解決し、完全な応答に対する正規化分布を学習する新しい手法である。

2. 2

   軌道レベルでの自己ガイダンススコアの調整

   この手法は、凍結されたトレーニング時のビューから得られるトークンレベルの対数確率利得を集約し、検証器由来のグループアドバンテージでスコアを較正する。

3. 3

   数学的推論における性能と安定性の向上

   Qwen3-4B および Qwen3-8B での評価により、FlowBalance は FlowRL よりも平均性能を向上させ、トレーニング速度と安定性を高め、応答長さの崩壊を防ぐ。