LMSYS、Kimi K3モデルのSGLangとMilesへのDay-0サポートを追加

記事の3ポイント

1. 1

   Kimi K3 の新アーキテクチャ対応

   SGLang と Miles は、69 層の KDA リニアアテンションと 24 層の MLA を組み合わせた Kimi K3 のハイブリッド構造を完全にサポートする。

2. 2

   メモリ管理と推論性能の革新

   再帰状態の書き込みやプレフィックスキャッシュに対応した新しいメモリ管理設計により、バッチサイズ 1 で約 113 トークン/秒の推論速度を達成する。

3. 3

   DSpark による推測的デコーディング

   K3 用に訓練したドラフトモデルを用いた DSpark 推測的デコーディングにより、バッチサイズ 1 で約 423 トークン/秒の速度を記録する。