Hugging Face、多言語数学推論に On-Policy Delta Distillation を提案

記事の3ポイント

1. 1

   On-Policy Delta Distillation (OPD^2) の有効性

   ポストトレーニング後の教師モデルとベースモデル間の確率差を学習信号として用いる OPD^2 が、従来の On-Policy Distillation (OPD) を一貫して上回る性能を発揮することが確認された。

2. 2

   多言語数学推論における顕著な改善

   Qwen3 での実験結果、特に韓国語と日本語において大きな改善が見られ、英語と韓国語の性能格差を縮める効果も確認された。

3. 3

   多言語データ保持の重要性

   英語のみで学習した OPD でも非英語圏の性能が向上するケースがあるものの、回答が英語側に偏る傾向があり、目標言語の応答を維持するには多言語データの必要性が示唆された。