テンセント、Hy3 モデル向け統一学習フレームワーク「AngelSpec」をオープンソース化

記事の3ポイント

1. 1

   負荷特性に応じた二重ドラフター設計

   汎用的な単一ドラフターの限界を克服するため、会話向け MTP モデルとコード・数学向けブロック並列ドラフターの 2 つを併用する構造を採用した。

2. 2

   トレーニング時テストによる推論不整合の解消

   EAGLE-3 の原則に基づき、トレーニング時に多段予測をシミュレートすることで、推論時の誤差蓄積問題を解決し、深層での受容率を向上させた。

3. 3

   パラメータ共有と凍結戦略の採用

   ターゲットバックボーンと言語モデルヘッドを凍結し、MTP 入力も切り離すことで、ドラフターの提案分布のみを最適化する効率的な学習を実現した。