Kimi K3 のアーキテクチャと vLLM による推論エンジン解説

記事の3ポイント

1. 1

   Kimi K3 モデルの主要特徴

   2.8兆パラメータの MoE 構造を持ち、1M トークンのコンテキストウィンドウとネイティブビジョン機能を備え、KDA と AttnRes を基盤としている。

2. 2

   vLLM による高性能推論の実現

   NVIDIA GB300 NVL72 環境において、DSpark 使用時に最大 370 tok/s のスループットを達成し、推論速度が 3.14 倍向上した。

3. 3

   新技術の統合と実装

   KDA レイヤーに対するプレフィックスキャッシングや、再帰型 plus アテンション設計への対応など、vLLM コアインフラが刷新された。