Kimi K3 の KDA が Gated MLA と AttnRes との連携を解説

記事の3ポイント

1. 1

   Kimi K3 の基本アーキテクチャ

   同モデルは約 2.78T パラメータを持つ多模態稀疏 MoE で、言語部分は 93 層のバックボーンに 69 層の KDA（線形注意力）と 24 層の MLA（全注意力）を組み合わせる。

2. 2

   KDA と Gated MLA の協働構造

   モデルは「3 層 KDA ＋ 1 層 Gated MLA」のユニットを基本構成とし、最終層に MLA を追加することで、線形注意力と全注意力の特性を補完させる設計を採用している。

3. 3

   スケーリング効率とアーキテクチャの課題

   K2.5 相比で 2.5 倍のスケーリング効率が達成されたが、モデル構造とチップ構造の共同設計（co-design）において推論効率への配慮に欠ける点が残されている。