Hugging Face、長文推論向け簡易 OPD 手法「SimpleOPD」を論文公開

記事の3ポイント

1. 1

   トークナイザー非依存の転移手法

   教師モデルと生徒モデルのトークナイザーの違いを解消するため、共有テキスト空間上でOPDを実行し、両者のトークンが同じテキストスパンに占める場合のみアライメントを行う。

2. 2

   生成長さ制御の新規損失関数

   過度な生成長さや頻繁な切り捨てを防ぐため、生徒モデルの初期ポリシーからの逸脱を抑制する参照KL損失を導入し、特別終了トークンの利得をマスクする。

3. 3

   多様なモデルでの実証実験

   Qwen3.5、Intern-S2、GLM-4.7、Gemma-4など異なるファミリーの学生モデルで実験を行い、数学的推論および自然科学分野のベンチマークで一貫した性能向上を確認した。