vLLM、Kimi K3の生産環境サポートを公開

先週、Moonshot AI は 2.8 兆パラメータの「Kimi K3」を発表しました。このモデルはネイティブな視覚サポート機能を持ち、100 万トークンのコンテキストウィンドウ、KDA（Kimi Delta Attention）、AttnRes（Attention Residuals）、そして極めてスパースな Mixture-of-Experts 構造を備えています。

発表直後から世界中の注目を集め、オープンソースコミュニティからは「オープンウェイトモデルが急速に進化し、最先端のプロプライエタリモデルに追いつきつつある」という期待の声が上がっています。

Moonshot AI は、2026 年 7 月 27 日までにフルモデルの重み（weights）を公開すると発表しています。その間、vLLM、Moonshot AI、NVIDIA、AMD、そして広範なコミュニティが協力し、最終的な統合と検証を進めています。これにより、オープンソースコミュニティはリリース初日から Kimi K3 を提供できるようになります。

本稿ではプレビューとして紹介しますが、パフォーマンス最適化はまだ進行中です。しかし、コアとなるモデルパス、KDA 対応のプレフィックスキャッシュ、マルチモーダル統合、ツール呼び出しパーサー、そしてハードウェア固有の最適化などは、すでに具体的な形を帯び始めています。Moonshot AI と vLLM/Inferact チームの双方から承認された信頼できるパートナー企業も、オープンソース公開用に準備されているコードを用いて、デプロイ検証を開始しています。

発表ブログで述べた通り、KDA は従来のプレフィックスキャッシングに新たな課題を突きつけています。これに対応するため、Moonshot AI チームは vLLM プロジェクトへ実装を提供し、モデル重みと同時にリリースされる予定です。設計の詳細については、今後のブログ記事で詳しく解説する予定です。

TL;DR

• Day-0 オープンソースサービング: vLLM では、Kimi K3 の重み公開に向けたモデル実装、Docker イメージ、デプロイレシピ、そして本番環境での検証準備を進めています。

• 新しいハイブリッドアーキテクチャ: Kimi K3 は、KDA が支配的な線形アテンションに周期的なフルアテンション層を組み合わせるほか、深さ方向における AttnRes、安定した LatentMoE、ネイティブなビジョンサポートを採用しています。

• プレフィックスキャッシングの核心変更: vLLM では now、物理的な KDA ステートブロックサイズとプレフィックスマッチングの粒度を分離しました。これにより、すべての小さなアテンションブロックで再帰状態を保持することなく、有用な部分的なプレフィックスキャッシュヒットを実現可能にしています。

• スタック全体でのカーネル最適化: リリースブランチには、FlashKDA の統合、融合された KDA デコード・投影・畳み込み、融合された AttnRes、再実装された MLA モジュール、SiTU 対応の MXFP4 MoE 実行、そして最適化されたエキスパートルーティングが含まれています。

• NVIDIA と AMD への対応: NVIDIA 固有のカーネルは最終調整中ですが、AMD 向けの初期実装（FlyDSL MoE カーネルを含む）は既に完成し、より広範な検証プロセスを進めています。

Kimi K3 の概要

Kimi K3 は単に Kimi K2 を大きくしたものではありません。Kimi K3 は、サービングの問題を複数の次元で同時に解決するアプローチを採用しています。

推論システムにおいて、各技術の選択はコストの所在を新たな場所へ移すことになります。KDA は従来の KV ペアを過去のすべてのトークンに対して保持する必要性を減らしますが、代わりに大規模な再帰状態を導入します。AttnRes は単一の残差ストリームの制限を緩和しますが、層間での追加的なメモリトラフィックを生み出します。Extreme MoE の極端なスパース性は、すべてのトークンに対して 2.8T パラメータをすべて活性化することを回避しますが、ルーティングと通信の重要性を高めます。vLLM の役割は、これらすべての要素を一つの馴染み深いサービング API の背後で連携させることです。

Kimi の複数世代にわたる協力の歴史

Kimi K3 は、Moonshot AI と vLLM コミュニティとの長年の協力関係を引き継ぐものです。

• GOSIM 2024 で Moonshot AI のエンジニアは、vLLM が同社内で大規模にどのように活用されているか、および vLLM と Mooncake を組み合わせたプリフィル/デコード非同期アーキテクチャについて発表しました。

• その後、Moonshot AI は vLLM Beijing Meetup で、Kimi K2 のトレーニングと推論の実践を共有しました。ここでは、厳格な SLO（サービスレベル目標）の下でオンライントラフィックに対応し、強化学習のワークロードもサポートする運用について言及されています。

• vLLM は Kimi K2、Kimi K2-Thinking、Kimi K2.5、Kimi Linear など、Kimi シリーズの初期段階からパートナーとして支援しています。

vLLM は Moonshot AI のエンジニアと深い技術協力を進めており、正解率に関する Kimi K2 ツール呼び出し精度、開発環境での CUDA デバッグ機能の強化、デコード文脈並列化 の実装、Mooncake を基盤とした PD 分離アーキテクチャ、そして大規模なパフォーマンス検証などが含まれます。また、Kimi K2.5 は公的な InferenceX サービング結果 にも登場しています。

こうした背景が重要です。Day-0 サポートは、リリース発表の後に単一のプルリクエストを書き足すようなものではなく、モデルチームと推論チームがアーキテクチャの詳細を早期に共有し、現実的な並列化条件下で実際のチェックポイントを検証し、サービングエンジンにおける課題を特定し、一度のローンチ後も有用な改善点を本流（upstream）へ還元するプロセスを経て実現されます。vLLM は Moonshot AI との長期的パートナーシップを誇りに思い、Kimi シリーズモデルにとって人気の高い推論エンジンとして貢献しています。

それでは、私たちが直面した最も興味深い技術的課題の一つに迫りましょう。

最大の難所：KDA におけるプレフィックスキャッシュ

従来のフルアテンションと KDA は、プレフィックスを記憶するアプローチが全く異なります。

フルアテンションでは、プレフィックスはトークンごとのキーベクトルとバリューベクトルとして表現されます。vLLM はこれらのベクトルをページ化されたブロックに保存し、完全なトークンブロックのハッシュを計算することで、一致するブロック列を別のリクエストで再利用できます。

KDA は再帰的（recurrent）です。従来の KV ペアをすべてのトークンに対して保持するのではなく、各 KDA レイヤーは行列状の再帰状態と短い畳み込み状態を進化させます。キャッシュされたプレフィックスから再開するには、エンジンがプレフィックス境界における KDA 状態を正確に取得する必要があります。以前の状態を再生してその境界に到達しようとすると、プレフィックスキャッシングの恩恵の多くが失われてしまいます。

単純な解決策として、すべての小さなアテンションキャッシュ境界で KDA 状態を保存する方法がありますが、これはコストが高すぎます。KDA の状態は通常のトークン 1 つ分の KV エントリよりもはるかに大きいため、実装ではストレージコストを分散させるために比較的大きな物理的な状態ブロックを使用します。今回の研究以前は、この物理ブロックのサイズがプレフィックスキャッシュヒットが発生する位置も制限していました。数千トークン規模の状態ブロックの場合、プロンプトのほとんどを共有している 2 つのリクエストであっても、共通の境界が同じ物理ブロックに収まらないために再利用可能なプレフィックスとして検出されないケースがありました。

新しい vLLM の設計では、これまで一緒に扱われていた 3 つの概念を分離しました。

物理ブロックサイズ：GPU 上で KDA 状態とフルアテンション KV がどのように割り当てられるかを定義します。

スケジューラの整合性：すべてのキャッシュグループが整合性を保つために実行を停止するポイントです。

プレフィックスマッチ単位：共有プレフィックスがハッシュされ、照合が行われるより細かなトークン間隔です。

これにより、vLLM はより大きな物理状態ブロック内部の微細な境界で有効な KDA 状態を登録できるようになります。後からリクエストがその部分的なブロックにヒットした場合、キャッシュされた状態はリクエストが拡張される前にプライベートな宛先にコピーされます。この「コピー・オン・ライト」ルールにより、共有キャッシュプレフィックスは維持されつつ、新しいリクエストも安全に生成を継続できます。

実装では、見落としがちな以下の詳細も処理しています：

• スケジューラは、登録される再帰状態が実際に宣言されたトークンプレフィックスに対応するよう、正しいブロックとハッシュ境界で停止します。
• 物理ブロックサイズは異なりますが、フルアテンションと KDA のキャッシュグループは num_computed_tokens を共通して合意します。
• 部分的なキャッシュエントリでは連鎖した微細なハッシュを使用し、境界が末尾のトークンのみではなく、プレフィックス全体を識別できるようにしています。
• ステップ内の再利用は、状態コピーが安全に行われるまで延期され、キャッシュ登録と拡張の間で競合が発生しないようにします。

キャッシュ転送と分離されたプレフィル/デコードパスでは、同じ論理プリフィックスがワーカー間で共有されます。

この研究は Kimi K3 やその他のハイブリッドアテンションモデルを動機としていますが、これは特定のモデル向けの簡易な解決策ではなく、vLLM の基盤インフラそのものです。vLLM チームと Moonshot AI チームはこの設計について深く協力しました。両チームは今後、設計の詳細、不変条件、ベンチマーク結果を別の記事で発表する予定です。

パフォーマンス改善：新たなボトルネックの解消

現在の進捗は以下の表にまとめられます：

Kimi K3 はホットパスを変更したため、チームはアテンションカーネル自体だけでなく、より広範な最適化を行いました。以下に各領域での進捗の詳細を記します。

KDA のプリフェッチとデコード

プリフェッチパスでは FlashKDA と Flash Linear Attention (FLA) が統合されています。中核となる再帰処理の周囲で、vLLM は入力投影と因果畳み込みを融合し、初期の再帰状態を単一の操作で取得します。

デコードでは、対応するアーキテクチャと形状に対して融合された NVIDIA カーネルが使用されます。生成されるトークンごとに短縮畳み込み、KDA 状態更新、出力ゲート、正規化といった個別の操作を実行するのではなく、融合パスによってこれらをまとめて処理します。これは特に重要です。Kimi K3 は多くの KDA レイヤーを含んでおり、レイヤーごとの小さな起動オーバーヘッドやメモリペナルティが積み重なると、トークン生成時間 (TPOT) に大きな悪影響を及ぼすからです。

アテンションの残差項 (AttnRes)

AttnRes は、単一の均一に蓄積された残差ストリームに依存するのではなく、より前のレイヤブロックによって書き込まれた表現からデータを取得します。単純な実装では、93 層のネットワーク全体で追加の読み取り・書き込み・集約・正規化の起動が発生してしまいます。

リリースブランチには、対応するケースにおいて残差更新、AttnRes の混合、出力 RMSNorm を融合させる Triton 実装と NVIDIA カーネルが含まれています。シーケンス並列処理では、アテンションと残差の通信をランク間でシャードします。カーネルレベルでの初期結果は有望ですが、プリフェッチ長や並列構成全体におけるエンドツーエンドの性能向上については、現在も測定が続けられています。

PD 非同期展開に最適化された MLA モジュール

Kimi K3 では依然として、4 レイヤーごとに MLA アテンションが使用されています。以前のモデルでは、vLLM は torch.compile のカスタム融合パスに大きく依存し、小さなカーネルを融合カーネルにマッピングしていましたが、これにより起動が遅くなり、多くのカーネルが未融合のまま残るという問題がありました。

今回のリリースでは、これらのカーネルを手動で融合する新しい MLA モジュールを実装しました。MLA では、プリフェッチとデコードの両方で異なるカーネル起動順序が必要となるため、PD 非同期展開に特化した、それぞれ異なる融合パターンを持つ2つのコードパスを実装しています。

さらに、Kimi K3 ではメインのアテンションパスと並列実行可能なゲート投影（gate projection）を導入しました。デコードパスでは、ゲート投影に対してマルチストリームサポートをオプションで追加していますが、マルチストリームの重なりが最適ではないプリフェッチパスでは、要素ごとの乗算とシグモイド関数をゲート投影のエピローグに融合させています。

MXFP4 MoE

Kimi K3 のリリース構成では、MXFP4 重みと SiTU アクティベーションが採用されています。今回の取り組み以前は、MXFP4 の TRTLLM-Gen パスは SiTU をサポートしておらず、より遅い実装にフォールバックしていました。

vLLM では現在、Kimi K3 の SiTU パラメータを最適化された FP4 エキスパートパスにマッピングし、大規模なトークンごとのトップ k 起動グリッドについても、ワークロードを安全にチャンク化することで処理を行っています。

これはすでに 16-GPU（DP16+EP16）構成で検証済みです。すべてのランクが最適化された MXFP4 バックエンドを選択し、正しさのチェックも通過しました。

AMD 側では、Kimi K3 MoE が FlyDSL の MLIR Python カーネルスタック上でサポートされています。これにはハードウェア向けに最適化された A16W4/A8W4 量子化融合演算子や、SiTU アクティベーションの実装が含まれており、すべて FlyDSL のモジュラーな抽象化の上に構築されています。

オープンソースデイで期待できること

当日の初回パッケージには以下の要素が含まれます：

• vLLM のモデル、パーサー、キャッシュ、カーネル統合機能；
• 初期公開版の Docker イメージ；
• NVIDIA 環境向けに検証済みの起動レシピ；
• FlyDSL MoE カーネルを採用した AMD 向けの初期パス（その後は ROCm のチューニングが続きます）；
• マルチモーダル、ツール利用、推論、構造化出力のサンプル；
• 初期のパフォーマンス結果。

信頼できるデプロイメントパートナーはすでに、Moonshot AI と vLLM/Inferact の双方による二重承認プロセスの下でリリース候補版を実験しています。これにより、事前公開モデルアーティファクトを広く配布することなく、実際の生産環境からのフィードバックを得ることができます。また、個別のカーネルだけでなく、フロントエンドの意味論、バッチ処理、キャッシュ転送、エキスパート並列化、観測性、障害対応などを含む完全なサービングシステム全体のテストも可能になります。

謝辞

Kimi K3 の day-0 サポートは、モデルベンダー、推論エンジン、ハードウェアコミュニティ全体での共同作業です。

Moonshot AI チームに感謝します。Kimi K3 の開発、重み公開前のアーキテクチャ詳細の共有、初期モデル統合と KDA プレフィックスキャッシュ機能への貢献、そして正確性と生産環境検証に向けた緊密な協力に対して謝意を表します。

モデルを vLLM に統合し、コアキャッシュマネージャーに部分的なハイブリッドプレフィックスヒット機能を拡張し、サービングセマンティクスとマルチモーダルサポートを実装し、デプロイレシピを整備し、エンドツーエンドのパフォーマンス最適化を推進してくれた Inferact チーム に感謝します。

KDA デコードやアテンション残差カーネルの実装、MXFP4 MoE における協力、そして全体的なパフォーマンス向上に尽力してくれた NVIDIA チーム に感謝します。

ROCm の初期サポート（day-0）を提供し、AMD GPU 上での Kimi K3 の展開を継続的に拡大してくれている AMD チーム に感謝します。

何より、Kimi K3 をめぐる期待、テスト、そしてフィードバックに貢献してくれた広範なオープンソースコミュニティに感謝します。重みと推論エンジンサポートをお手元に届けることを楽しみにしています。

余談：なぜ発表とオープンソースリリースを分けたのか

Kimi K3 は、より多くのモデルベンダーが検討すべきリリースプロセスも特徴としています。それは「まずモデルを発表し、その後で重みと推論エンジンサポートを公開する」というアプローチです。

この分離案は vLLM チームから提案され、Moonshot AI が賛同して実行に移しました。その理由は実務的なものです。最先端モデルの発表には避けられない最終段階の不確実性が伴います。モデルチームは同時に自社の製品、API、評価、安全対策、ドキュメント、そして商業展開を安定化させている最中です。もしオープンソースの重みとサポートが正確に同じ瞬間に提供されなければならないとしたら、vLLM のようなコミュニティプロジェクトは、移りゆく締め切りによって影響を受けます。

タイムラインを分けることで、双方にとってより良い契約関係が生まれます。

モデルベンダーは製品発表に集中し、最終チェックポイントや設定、トークナイザー、サービングの仕様を固定できます。

オープンソース推論エンジンチームは、正確性のテスト、パフォーマンスチューニング、Docker ビルド、レシピ検証のための安定した統合期間を得られます。

コミュニティには、「まもなく登場」といった曖昧な表現ではなく、明確で限定された期待値が提供されます。

この分離は、Day-0 サポートを放棄する退却ではありません。ユーザーが実際にダウンロードするアーティファクトに対して、より持続可能な形で Day-0 サポートを提供するための方法です。他のモデルベンダーにもぜひこのアプローチを採用してほしいと思います。