自己蒸留でコード生成性能向上

記事の3ポイント

1. 1

   検証不要の自己蒸留手法

   ランダムサンプリングと標準的な教師あり微調整のみを用い、外部の検証器や強化学習を一切必要としない「単純な自己蒸留（SSD）」という手法が提案された。

2. 2

   Qwen3-30B-Instructの性能向上

   同手法を適用した結果、Qwen3-30B-InstructモデルのLiveCodeBench v6におけるpass@1スコアが42.4%から55.3%へと劇的に改善された。

3. 3

   難問への集中と汎化能力

   性能向上は特に困難な問題に集中しており、QwenやLlamaの4B、8B、30Bといった異なる規模のモデル間でも同様の効果が確認された。