Hugging Face、長文推論向け簡易 OPD 手法「SimpleOPD」を論文公開
本文の状態
日本語全文を表示中
詳細モードで約1分の本文を読めます。
同じ出来事の情報源
この情報源を基点に整理
Hugging Face Daily Papers
研究者らは、トークナイザーの不一致や生成長さの爆発といった課題に対処する新しい手法「SimpleOPD」を開発し、長文推論モデルから短文学生モデルへ推論能力を転送する実験で顕著な性能向上を確認した。
AI深層分析を開く2026年8月18日 04:26
AI深層分析
キーポイント
トークナイザー非依存の転移手法
教師モデルと生徒モデルのトークナイザーの違いを解消するため、共有テキスト空間上でOPDを実行し、両者のトークンが同じテキストスパンに占める場合のみアライメントを行う。
生成長さ制御の新規損失関数
過度な生成長さや頻繁な切り捨てを防ぐため、生徒モデルの初期ポリシーからの逸脱を抑制する参照KL損失を導入し、特別終了トークンの利得をマスクする。
多様なモデルでの実証実験
Qwen3.5、Intern-S2、GLM-4.7、Gemma-4など異なるファミリーの学生モデルで実験を行い、数学的推論および自然科学分野のベンチマークで一貫した性能向上を確認した。
汎用的な推論能力の転移
Intern-S2-PreviewがProofBenchで21.2ポイント改善しGemini-2.5-Proを凌駕するなど、数学領域を超えた科学ベンチマークでも向上が見られ、推論能力の一般化が可能であることが示された。
重要な引用
In this work, we study this setting by transferring proof-reasoning capabilities from the long-context reasoning model SU-01 to short-context student models.
To handle tokenizer differences, we perform OPD in a shared text space and align only tokens that occupy identical text spans under the student and teacher tokenizers.
Intern-S2-Preview improves by 21.2 points on ProofBench, reaching 55.2 and surpassing Gemini-2.5-Pro.
編集コメントを表示
編集コメント
長文推論モデルの能力を短文コンテキストの学生モデルへ効果的に転送する手法として、SimpleOPDは実用性の高いアプローチを示している。特にトークナイザーの違いによる課題を解決した点は、多様なモデル環境での適用性を高める重要な進展である。
Source Article
元記事を日本語で読む
本文に関係しない購読案内、埋め込み通知、サイト内プロモーションは除いています。
オンポリシー蒸留（OPD）は、より強力な教師モデルから推論能力を転移する有望な手法ですが、長文脈の教師モデルと短文脈の学生モデル間で適用する場合、トークナイザーの不整合や教師・学生の分布ミスマッチ、応答長さの爆発的増加、学習の不安定さといった実用的な課題に直面します。本研究では、長文脈推論モデル SU-01 から短文脈の学生モデルへ証明推論能力を転移する設定でこの課題を検討しました。
トークナイザーの違いへの対応として、共有テキスト空間内で OPD を実行し、学生と教師のトークナイザー下で同じテキストスパンを占めるトークンのみをアライメントします。生成長さの過剰化や頻発的な切り捨て問題を緩和するため、学生参照 KL 損失を導入し、<|end_of_text|> や <|eot_id|> のような特別終了トークンの利得値をマスクします。この戦略により、学生モデルが初期方策から過度に逸脱するのを抑制し、教師と学生の分布ミスマッチ問題を軽減するとともに、安定した長さの成長を促します。
Qwen3、Qwen3.5、Intern-S2、GLM-4.7、Gemma-4 など、同系および異系の学生モデル両方での実験結果は、数学的推論、特に自然言語による証明において一貫した性能向上を示しています。特筆すべきは、Intern-S2-Preview が ProofBench で 21.2 ポイント改善し、55.2 のスコアを達成して Gemini-2.5-Pro を上回ったことです。
また、HLE や HiPhO といった科学ベンチマークでも性能が向上しており、OPD が数学的な学習領域を超えて汎化する推論能力を転移できることを示唆しています。
原文を表示
On-policy distillation (OPD) offers a promising way to transfer reasoning capabilities from stronger teacher models, but applying it to long-context reasoning teachers and short-context students introduces practical challenges, including tokenizer mismatch, teacher-student distribution mismatch, response length explosion, and training instability. In this work, we study this setting by transferring proof-reasoning capabilities from the long-context reasoning model SU-01 to short-context student models. To handle tokenizer differences, we perform OPD in a shared text space and align only tokens that occupy identical text spans under the student and teacher tokenizers. To mitigate the problem of excessive generation length and frequent truncation, we introduce a student reference KL loss and mask the advantages of special termination tokens such as </think> and <|im_end|>. This strategy constrains the student from drifting excessively from its initial policy, thereby mitigating the teacher-student distribution mismatch problem and fostering steady length growth. Experiments on both same-family and different-family student models, including Qwen3, Qwen3.5, Intern-S2, GLM-4.7, Gemma-4, show consistent gains in mathematical reasoning, especially natural-language math proving. Notably, Intern-S2-Preview improves by 21.2 points on ProofBench, reaching 55.2 and surpassing Gemini-2.5-Pro. It also improves on science benchmarks such as HLE and HiPhO, suggesting that OPD transfers reasoning capabilities that generalize beyond the mathematical training domain.
今日のまとめ
AIデイリーブリーフで今日の重要ニュースをまとめ読み