DiffusionOPSD：拡散モデルのオンポリシー自己蒸留手法

強化学習を用いれば、拡散モデルを人間の嗜好やタスク固有の目標に合わせることができます。しかし、最終的な報酬だけでは、中間段階でのノイズ除去予測がどのように変化すべきかを指定することはできません。

そこで私たちは、DiffusionOPSD というオンポリシー自己蒸留フレームワークを導入しました。これは、画像レベルの報酬ガイダンスを、サンプリングされたクエリにおけるクリーンな出力予測に対する明示的な目標に変換するものです。各外側イテレーションでは、凍結された行動方策が軌道（トラジェクトリー）を生成し、クエリ状態とアンカーを提供します。報酬勾配は、各アンカーの周囲に有界な正負の目標を構築します。学習可能な方策は、これらの目標に対して有限回のフィッティングを通じて切り離された教師信号として適合させます。その後、指数移動平均更新によって行動方策が刷新されます。

この仕組みにより、目標の構築と有限の実現を別々に評価することが可能になります。同一クエリでの制御実験では、目標構築における利得が大きくなっても、単一のフィッティング更新後の実現利得が必ずしも大きくなるわけではないことが示されました。

SD 3.5-M とステップ蒸留された Z-Image-Turbo において、本手法は 2 つのバックボーンと 10 の評価器にわたる報酬一致設定 20 中 19 で、最終的なホールドアウトスコアで最高を記録しました。最強の競合手法と比較して最大 44.0% の性能向上を果たし、DiffusionNFT と比較すると、SD 3.5-M ではトレーニングに要する GPU 時間を 40%、Z-Image-Turbo では 63% 削減することに成功しています。

これらの結果は、画像レベルの報酬ガイダンスを明示的で継続的に更新される中間監督信号に変換することで、拡散モデルのポストトレーニングにおけるオンポリシー自己蒸留が効率的かつ分析可能なアプローチであることを示しています。これにより、より効率的で診断可能なアライメントへの道が開かれます。