LMSYS、Miles にオンポリシー蒸留（OPD）機能を追加し学習フローを強化

記事の3ポイント

1. 1

   OPD の実装と機能拡張

   Miles に On-Policy Distillation (OPD) が追加され、教師モデルのガイダンスのみを用いる純粋な蒸留と、GRPO/PPO 型強化学習を併用する RL 支援型蒸留の 2 つのモードをサポートするようになった。

2. 2

   Top-k OPD の導入

   単一のサンプリングトークンに限定せず、複数の候補トークンとその対数確率を保持して教師が評価を行う Top-k OPD により、学生と教師の比較をより豊かにする仕組みが実装された。

3. 3

   推論効率化のための最適化

   不要な密な対数確率ペイロードを防ぐため、スパースな教師スコアリングワークフローが追加され、8×NVIDIA B200 ノード上での Qwen3.5-35B-A3B の自己蒸留実験で有効性が検証された。