Hugging Face ジャーナルクラブ：直接オンポリシー蒸留

小規模モデルの「強化学習」を大規模モデルに転送する、計算コスト半減の新手法

Hugging Face ジャーナルクラブで取り上げられた論文「Direct On-Policy Distillation（直接オンポリシー蒸留）」は、大規模言語モデルの学習における根本的なボトルネックである「計算コスト」と「性能向上」の両立に向けた革新的なアプローチを提示しています。従来の知識蒸留や強化学習（RL）とは一線を画し、小規模モデルで得た学習信号を大規模モデルへ転送することで、トレーニング時間を約半分に短縮しつつ性能を向上させることに成功しました。

強化学習と知識蒸留の境界を融合する

従来のポストトレーニングパイプラインでは、まず大規模な教師モデルに対して強化学習（RL）を実行し、その結果得られた「ポリシーシフト（行動方針の変化）」が期待されます。しかし、このプロセスは膨大な計算リソースを要するため、実用化における大きな課題となっていました。

今回の手法が提案するのは、この RL のプロセス自体を蒸留の信号として利用するという発想です。具体的には、強化学習による損失関数と、知識蒸留（Distillation）の損失関数を組み合わせることで、両者の利点を併せ持つ新しいトレーニングフレームワークを構築します。

「RL で得られたポリシーシフト情報を教師モデルから生徒モデルへ伝達するプロセスこそが、この手法の核心です。」

通常、蒸留では「性能の高い大規模モデル（教師）」から「小規模なモデル（生徒）」へ知識を移すのが定石ですが、この論文のアプローチは少し逆転しています。ここでは「強化学習によって改善された小規模なモデル」が教師の役割を果たし、その変化の信号を「より大規模で高性能な生徒モデル」へと伝達します。

弱から強への一般化：計算コストの劇的削減

この手法の最大の特徴は、「弱から強への一般化（Weak-to-Strong Generalization）」という逆転したアプローチにあります。計算コストのかかる大規模モデルに対して直接 RL を実行するのではなく、まず計算コストが低い小規模モデル（例：1.5B パラメータ）で RL を実行します。

そして、その小規模モデルが RL を通じて得た「ポリシーシフト」を、大規模な生徒モデル（例：7B パラメータ）への蒸留プロセスに組み込みます。これにより、大規模モデルに対して直接 RL を適用するのと同じ学習信号を得ながら、計算コストを大幅に削減することが可能になります。

実験結果は驚異的な効率化を示しています。

• 7B モデルへの直接 RL 実行: 約 320 時間
• 1.5B モデルでの RL + 蒸留（Direct OPD）: 約 164 時間

単純に計算時間を比較すると、約半分以下に短縮されつつ、性能向上も従来の方法を上回る結果が得られています。これは、限られた予算で高性能なモデルを開発したい開発者や企業にとって、極めて現実的な解決策となり得るでしょう。

手法の汎用性と限界：RL に限定されるのか？

この手法が本当に画期的なのかを問うには、「強化学習に限定された現象なのか」という点が重要です。議論では、任意の微調整手法（SFT や他の蒸留法など）によって得られたモデル間の差（チェックポイントペア）から信号を得て転送できるかという点について、その有効性と限界が議論されました。

ある参加者は、RL に限らず「同じベースモデルからの派生で、性能の異なる 2 つのチェックポイントがあれば、それらの差分から学習信号を得られるのではないか」と提案しました。もしこれが真であれば、RL を行わずとも、既存の SFT チェックポイントを組み合わせるだけで同様の効率化が可能となり、さらに汎用性が高まることになります。

しかし、そこには慎重な視点も必要です。強化学習によるポリシーシフトは比較的小さく分布が近いですが、SFT などの手法では重み更新量が大きく、分布のズレが大きすぎる場合、蒸留プロセスにノイズとして作用する可能性があります。

「ポリシー間の差分が大きすぎると、蒸留部分は単なるノイズになってしまう恐れがあります。そのため、両者の損失関数をバランスさせるハイパーパラメータ（ベータ値など）の調整が極めて重要になります。」

つまり、この手法をすべての微調整タスクに適用するには、手法ごとの特性に応じたチューニングが必要であり、即座に業界標準となるにはさらなる検証実験が求められます。

まとめ

Direct On-Policy Distillation は、強化学習と知識蒸留の境界を曖昧にし、小規模モデルで得た「変化の信号」を大規模モデルへ転送することで、計算効率と性能向上の両立を実現する有望な手法です。ただし、その汎用性が RL 特有の現象に依存しているかどうかは今後の検証次第であり、開発者はこの手法の適用範囲を慎重に見極める必要があります。