SpecForge v0.3.0、推論と学習を分離した新ランタイムを発表

記事の3ポイント

1. 1

   オンライン学習の完全な分散化

   パッチ適用された SGLang サーバーがターゲットモデルの特徴をキャプチャし、Mooncake がテンソルを転送し、トレーナーワーカーが独立した制御平面を通じて軽量参照を消費する構成となった。

2. 2

   推論と学習の独立したスケーリング

   8xH20 テストベッドにおいて、3 つの SGLang サーバーと 5 つのトレーナーワーカーというトポロジが、従来の colocated 実装と比較してエンドツーエンドのトレーニングスループットを約 10% 向上させた。

3. 3

   多様なドラフトモデルファミリーへの対応

   EAGLE3, EAGLE3.1, P-EAGLE, DFlash, Domino, DSpark および DFlash のためのオプション目標である D-PACE を含む複数のスペキュレーティブ・デコーディング手法を単一のランタイムでサポートする。