自己蒸留でコード生成性能向上
Apple Machine Learning は、検証器や教師モデルを不要とする単純な自己蒸留（SSD）手法により、コード生成モデルの性能が劇的に向上することを実証した。
キーポイント
検証不要な自己蒸留（SSD）の実現
従来の教師モデルや強化学習、外部検証器を一切使用せず、モデル自身の生成出力のみを用いて学習する手法が有効であることを示した。
難易度別での顕著な性能向上
Qwen3-30B-Instructモデルにおいて、LiveCodeBench v6 の pass@1 スコアを 42.4% から 55.3% に引き上げ、特に困難な問題解決能力に大きな改善が見られた。
多様なモデルサイズ・アーキテクチャでの汎用性
Qwen および Llama シリーズの 4B、8B、30B の異なる規模およびアーキテクチャにおいて、同様の手法が効果的に機能し、スケーラビリティを確認した。
重要な引用
Can a large language model (LLM) improve at code generation using only its own raw outputs, without a verifier, a teacher model, or reinforcement learning?
SSD improves Qwen3-30B-Instruct from 42.4% to 55.3% pass@1 on LiveCodeBench v6
gains concentrating on harder problems
影響分析・編集コメントを表示
影響分析
この研究は、大規模言語モデルのトレーニングコストを大幅に削減しつつ性能を向上させる新たなパラダイムを示唆しており、特にリソース制約のある環境や、高品質な教師データが入手困難なケースにおいて極めて重要です。検証プロセスを排除することで学習パイプラインが簡素化され、開発サイクルの加速と実用モデルのさらなる進化に寄与する可能性があります。
編集コメント
「検証器や教師モデルを不要」という点は、現在の AI 開発におけるボトルネックであるデータ収集コストと計算リソースの削減において画期的な意義を持ちます。特にコード生成という実用性の高い領域で、単純な手法がこれほど劇的な効果をもたらすことは、今後の研究開発の方向性を大きく変える可能性を秘めています。
検証器や教師モデル、強化学習を一切使わずに、大規模言語モデル（LLM）は自身の生出力のみを使ってコード生成能力を向上させることができるのでしょうか？
我々の答えは「可能だ」です。その手法がシンプル自己蒸留（SSD: Simple Self-Distillation）です。特定の温度設定とカットオフ構成でモデルから解をサンプリングし、それを標準的な教師あり微調整（SFT）の対象として利用するだけです。
この SSD を適用すると、Qwen3-30B-Instruct の LiveCodeBench v6 における pass@1 スコアは 42.4% から 55.3% に向上します。特に難易度の高い問題での改善が顕著です。また、この手法は Qwen や Llama モデルの 4B、8B、30B の各スケールにわたって汎用性があり、両モデルファミリーとも効果が発揮されます。
原文を表示
Can a large language model (LLM) improve at code generation using only its own raw outputs, without a verifier, a teacher model, or reinforcement learning? We answer in the affirmative with simple self-distillation (SSD): sample solutions from the model with certain temperature and truncation configurations, then fine-tune on those samples with standard supervised fine-tuning. SSD improves Qwen3-30B-Instruct from 42.4% to 55.3% pass@1 on LiveCodeBench v6, with gains concentrating on harder problems, and it generalizes across Qwen and Llama models at 4B, 8B, and 30B scale, including both…
関連記事
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み