Kimi K3 の KDA が Gated MLA と AttnRes との連携を解説

Kimi K3 の KDA(1): KDA が Gated MLA と AttnRes とどのように連携するか

2026 年 8 月 7 日 13:26 浙江 / 著者：渣 B

要約

先週、好奇心から「Attention は Sparse か Linear か？詳細分析」という記事を書きました。K3 の技術報告書を精査したところ、Linear Attention に関する私の疑問がいくつか解消されたようです。同時に公開された AgentENV などの成果も、深く学ぶ価値があります。後処理（post-training）やインフラ関連の項目にも検討すべき点が多くあるため、本シリーズは数回に分けて解説していきます。

ただし、物事は常に多角的に捉える必要があります。先日、昇騰（Ascend）の首席科学者である廖恒氏への 5 時間にわたるインタビュー記事『昇騰史、18 層宝塔と世界半導体 30 年の壮大な叙事詩』[1] を読んだ際、DeepSeek の Sparse アプローチについても言及されていました。正式版の DeepSeek-V4 Flash の性能も非常に優れており、284B-A13B という大規模モデルであることは間違いありません。

全体的に見て、Kimi K3 はモデル性能とトレーニングの両面で素晴らしい成果を上げています。特に K2.5 と比較して 2.5 倍のスケーリング効率を達成した点は目覚ましいものです。しかしながら、アーキテクチャ全体を見ると、高速推論のための最適化が十分に行われているとは言い難く、モデル設計とチップ設計の協調（co-design）においてはまだ改善の余地があります。廖氏もインタビューで触れていた通り、この課題は非常に難しく、高い人材要件を伴います。数学やアルゴリズムの観点からモデル構造を深く評価するだけでなく、チップアーキテクチャやメモリアクセスの詳細な理解まで必要とされるからです。おそらく、これら 18 の層すべてを完全に攻略できる人はそう多くないでしょう。

本稿はシリーズ物の第 1 弾です。分量が多いため数回に分けて執筆します。まずは K3 の「KDA + Gated MLA + Block AttnRes」という組み合わせがどのように連携しているかを詳細に分析し、第 2 篇では Sparse Attention との比較を行います。さらに時間が許せば、チップ設計の視点から第 3 篇を補足する予定もあります。

本記事はシリーズの初回であり、今回はモデル構造そのものに焦点を当てます。具体的には、KDA が Gated MLA や AttnRes とどう連携するかという点です。

目次

• 第 1 章: K3 モデル構造の概要分析（既知の場合はスキップ可）
• 第 2 章: 本文の核心部分

1. Kimi K3 モデルアーキテクチャ

1.1 概要

Kimi K3 は、総パラメータ数約 2.78T、単一トークンあたりの活性化パラメータ数約 105B を持つ多モーダルなスパース MoE（Mixture of Experts）モデルです。Kimi K2 との主な違いは以下の通りです。

モデルのアーキテクチャは以下の通りです。

ここでは視覚エンベディングの部分は一旦脇に置き、言語処理部分の中核となるフレームワークを見ていきましょう。

混合アテンション構造

93 层并非全部采用标准全注意力机制，而是采用了由 3 层 KDA 加 1 层 MLA 构成的架构单元，即 [KDA, KDA, KDA, Gated MLA]。此外，在第 93 层末尾还额外放置了一个 MLA。因此，整个 Backbone 的精确结构如下：

整个模型由以下部分组成：

• 69 层 KDA（Kimi Delta Attention）线性注意力
• 24 层 MLA（Multi-head Latent Attention）全注意力

在深度维度上，还引入了 Block AttnRes 机制，每 12 层构成一个 Block。

Latent MoE 结构

共享专家的数量增加到了 2 个，整体专家总数进一步扩展至 896 个，Top-K 选择数量也扩大到了 16。为了降低网络通信压力，模型采用了 Latent MoE 结构。这里的"Latent"指的是：在 Top-K 选择的专家中，由于 Top-K 翻倍，通信前会通过一个 Linear 层将数据压缩至原始 Hidden Dim（7168）的一半，即 3584。

1.2 Attention 结构

#### 1.2.1 KDA

单层 KDA 的数据流如下图所示：

从输入到输出，共有六条并行分支汇入一个融合内核，随后经过门控 RMSNorm 和输出投影：

其中包含三条 Q/K/V 分支，分别执行投影与短卷积操作。

3 つの ShortConvolution(hidden_size=12288, kernel_size=4, activation='silu') は因果畳み込みです。各チャネルは独立しており、現在のトークンと直前の 3 トークンのみを参照します。その後、SiLU が適用されます。

q と k は、カーネル内部でヘッドごとの L2 正規化が行われます（use_qk_l2norm_in_kernel=True）。このステップが極めて重要です。これにより、delta 消去演算子 Δ のスペクトルノルムを 1 以下に抑え込み、再帰計算における非拡張性を保証しています。

なぜ畳み込みが必要なのか？

これは頻繁に問われる質問ですが、通常、Linear Attention のカーネルはこの部分でパッチ（修正）を施す必要があります。

あるタスクを考えてみましょう。系列 S において、2 つ目の t_2 で t_1 を予測する（連想記憶）というものです。この際必要な操作は、「t_1 が書き込まれる際に、『直前のトークンは t_1 である』という情報を key にエンコードすること」です。

命題：もし f が逐点写像であれば、単層 KDA ではこのタスクを達成できません。

証明：位置 i（トークンが t_i）の key は k_i = f(t_i) であり、t_{i-1} に依存しません。一方、クエリは q_i = f(t_i) です。

任意の語彙ペア (t_a, t_b) に対して、k_i と q_j の内積が「直前のトークンが一致している場合」にのみ大きく値を持つようにするには、内容に依存しない全順序マッチングが必要です。しかし、f は固定された写像であり、スコアリングは f(t) の内容にしか依存できません。「t_b が t_a の直後に続く」という関係性を表現することは不可能です。減衰項を導入しても、遠くの記憶を薄くするだけで、「直前の位置」という精密な関係を捉えることはできません。

ここで、カーネルサイズ 4 の因果畳み込みを加えることで、問題は解決します。畳み込みが行うのは「自分自身と直前の 3 トークンを加重混合すること」です。

もし t_2 の項を大きく学習すれば、key は近似して「直前のトークンの表現」となります：k_i ≈ f(t_{i-1})。全体の流れを追うと以下のようになります。

書き込み側（t_1 の位置）: key ≈ f(t_0)（「私の前には t_0 がいた」）、value = v_1

読み取り側（2 つ目の t_1 の位置）: 自身を参照する項で検索、k_j ≈ f(t_1)（「私は t_1 だ」）

内積が即座にヒットし、v_1 が読み出されます。タスク完了です。

これは逐点写像では決して作り出せないものです。まさにこれが、H3 論文で shift-SSM を k 分支に導入した動機であり、Mamba、GLA、GDN、RWKV（token-shift）もすべてこの構造を受け継いでいます。

別の視点として、状態を近似して叠加式連想記憶 S = Σ v_i k_i^T と見なし、k_j で検索すると考えましょう。

串擾（クロストーク）

検索誤差は、Key 集合の相関性 ρ = max_{i≠j} |⟨k_i, k_j⟩| によって制御されます（key は L2 正規化されて単位球面上にあります）。

自然言語のトークンは Zipf 分布に従い、頻出語が大量に繰り返されます。逐点 key を用いると、同じトークンが二度出現した際に、完全な衝突（k_i = k_j）が発生します。KDA ではこの結果がより深刻です。delta 消去演算子 Δ が、古い同キーの記憶を能動的に抹消してしまうからです。つまり、「the」という単語を2度目に目にした瞬間、1度目の「the」に関連付けられていた内容をすべて書き換えてしまうことになります。

畳み込みを加えると、key は 4-gram の関数となります。同じ単語でも、局所的な文脈によって異なるアドレスが割り当てられます。これにより、Key 集合は球面上に効果的に散らばり（相関性が低下）、読み出し時の串擾を低減できます。また、delta 消去も「同一文脈内の同一単語」に限定されるため、固定された状態予算の中で直接容量を向上させることができます。

なぜ k にも畳み込みが必要なのか？

k の検索品質は、q と k が正確にアライメントできるかどうかに依存します。もし q が 4-gram 特徴空間に存在し、k が unigram（単一単語）のみであれば、双線形スコアリングは文脈次元への周辺化に退化してしまいます。つまり、「内容を 4-gram でインデックスして保存したのに、検索時には単語単位でしか探せない」状態になります。したがって、q と k は同じ種類の局所汎関数によって生成されなければならず、k の畳み込み構造は q と対称的である必要があります。同時に、ヘッドごとの L2 正規化も導入されます。

Kimi K3 の KDA（Key-Value Decay Attention）において、書き込み項が保持するのは新しい情報です。もし逐点処理のみを行う場合、状態は「単一トークンの埋め込みの単純な加算」に限定されてしまいます。これでは、BPE で分割された単語や固有名詞、慣用句といった複数のトークンにまたがる複合的な意味を構築できません。その構築プロセスは、後続のデルタ（差分）によって常に上書きされたり中断されたりするリスクがあります。

一方、conv（畳み込み層）を導入することで、書き込み前にすでに 4-gram の複合表現が形成されます。これは、一度に一つの完全な局所意味ユニットを書き込むことと同等です。

なぜ SiLU が必要なのか？

conv は線形演算ですが、4-gram 内の異なるパターンが線形分離不可能な場合、線形のキーではそれらを区別できません。conv の後に SiLU を接続することで非線形関数が生成され、これにより識別可能な n-gram の種類が大幅に拡大します。

（思考問題：なぜ DeepSeek CSA では Overlap が必要なのか？この答えは『DeepSeek-V4 詳細分析 (1): アルゴリズムとモデル構造』に記載されています。）

減衰分支の生成について、これは見落としがちな構造的な細部です。96 ヘッド × 各ヘッド 128 チャネル（合計 12,288）に及ぶ減衰ロジットは、すべて 128 次元の低ランクボトルネックから生成されています。

self.f_a_proj = nn.Linear(self.hidden_size, self.head_dim, bias=False)
self.f_b_proj = nn.Linear(self.head_dim, projection_size, bias=False)
g = self.f_b_proj(self.f_a_proj(hidden_states))     # 7168 -> 128 -> 12288
g = rearrange(g, '... (h d) -> ... h d', d=self.head_dim)

ここで、hidden_size は 7168、head_dim は 128、projection_size は 12,288 です。

パラメータ数は約 0.9M で、全ランクの場合の 88.08M に比べて 35 倍削減されています。

その代わり、減衰モードのランクは 128 に制限されます。つまり、異なるヘッド間の忘却挙動は完全に独立しているわけではなく、同じ 128 次元の「忘却意図」ベクトルの異なる線形読み出しとして表現されることになります。

興味深い対比として、K3 は新たに追加された出力ゲート g_proj を低ランクから全ランク（7168 → 12,288）へアップグレードしましたが、減衰ゲートの構造は低ランクのまま維持しています。合理的な解釈としては、両者の感度が異なるためです。出力ゲートは読み出す内容の各チャネルの振幅を直接決定しますが、減衰率には粗粒度な「時間スケールの選択器」で十分であると考えられます。

これに付随する 2 つのパラメータは以下の通りです。

self.A_log = nn.Parameter(torch.log(torch.empty(num_heads).uniform_(1, 16)))  # [96]
self.dt_bias = nn.Parameter(torch.empty(projection_size))                     # [12288]

• A_log: ヘッドごとの学習可能な対数スケールです。初期化により log(σ) が設定され、シグモイド関数の傾斜（つまり減衰が入力にどの程度敏感か）を制御します。
• dt_bias: (ヘッド, チャネル) ごとのバイアスで、報告書における Δt に相当し、各チャネルのデフォルト記憶長さを決定します。

これら 3 つの要素を組み合わせて、Tech Report §2.1.1 で定義されている「有界減衰（bounded decay）」の映射を実現しています。また、書き込み強度分支は、ヘッドごとに 1 つのスカラー値として扱われます。

beta = self.b_proj(hidden_states).float() # [B,T,96], 随后在内核内过 sigmoid 是逐 head 标量，不是逐通道向量。它在在线学习视角下就是学习率：表示"这个 token 不值得写", 表示"完全覆盖旧记忆在 方向上的分量"。注意代码显式 .float() 递推超参一律用 FP32 , 避免 BF16 累积误差污染状态转移。

全秩输出门

if self.use_full_rank_gate:

g = self.g_proj(hidden_states) # K3: 7168 -> 12288

else:

g = self.g_b_proj(self.g_a_proj(hidden_states)) # Kimi Linear: 7168 -> 128 -> 12288

g = rearrange(g, '... (h d) -> ... h d', d=self.head_dim)

o = self.o_norm(o, g) # FusedRMSNormGated: RMSNorm(o) * sigmoid(g)对应报告公式:

FusedRMSNormGated(head_dim=128, activation='sigmoid') 把三件事融合在一个内核里：逐 head RMSNorm (在 128 维上归一), 对门做 sigmoid, 逐元素相乘。归一化必须在门控之前，循环状态的幅度会随 漂移，先归一才能让门的语义稳定为"保留多少比例"。

递推核心：衰减 → 擦除 → 写入

image②擦除①逐通道衰减③写入

三个算子各司其职:

image令 , 展开后可以合并 ②③:

括号里是新息 (innovation): 真实 value 减去当前状态对它的预测。这一步正是对重构损失 做一步学习率为 的梯度下降。

而 出现在梯度步之前，由此可以说清 KDA 相对 GDN 的表达力优势：GDN 用逐 head 标量门，等价于假设状态空间各向同性；KDA 的 channel-wise 门让在线学习的有效学习率逐坐标自适应，允许状态流形各向异性。

注意：读取的是 S_t 而非 S_{t-1}，即每个 token 读取的是“包含自身写入后”的状态。这也解释了为何在 chunkwise 并行形式中，Tril 矩阵必须保留对角线元素。

chunkwise 并行形式包含两条执行路径：

路径①（跨 chunk）：Query 先乘以自身在 chunk 内的累积衰减，随后一次性读取 chunk 的起始状态，从而承载所有更早的历史信息。该操作的计算成本与序列长度无关。

路径②（chunk 内部）：涉及 A 的因果交互矩阵，其中 1/A 是那个可能导致数值溢出的倒数重标定项。后文小节中提到的下界有界处理，正是为了让这一部分能够整体通过稠密 GEMM（通用矩阵乘法）高效执行。由于读取的是本 token 写入后的状态，Tril 矩阵必须包含对角线元素。

上述形式源自 UT 变换，它将 chunk 内的 delta 递推展开为矩阵形式。

关于下界有界衰减：在上述形式中，每个 chunk 的 Key 需要除以累积衰减 A 进行重标定。由于 A 是区间内保留因子的乘积，其倒数可能无界增长，并在有限精度下发生溢出。Kimi Linear 通过在 log 空间计算相对衰减，并将每个 chunk 细分为包含 16 个 token 的次级 tile（子块）来控制数值范围。非对角线 tile 随后可以直接利用 Tensor Core 进行稠密矩阵乘法计算；而对角线 tile 仍需显式的逐位置对（position-pair）计算，这构成了 chunk 内部计算的主要瓶颈。

Kimi K3 通过改变从衰减 logit log(A) 到每步对数衰减的映射来解决这一瓶颈。遵循 GDN 与 Mamba-2 的设计思路，Kimi Linear 使用负 Softplus 映射；而 Kimi K3 则采用 scaled sigmoid（缩放 Sigmoid）函数将 log-衰减从下界进行封底处理：

这是 K3 相对于 Kimi Linear 最具代表性的一处改动。其动机链条完整地从数学形式推导至内核实现路径：

image 其中，是各头可学习的逐头 log-尺度参数，固定。取时，每个保留因子满足，16 token tile 上的累积 log-衰减落在范围内。相应的倒数重标定因子因此小于，保持在 BF16 动态范围内。这一有限范围使得对角 tile 与非对角 tile 都能使用稠密 Tensor Core 矩阵乘法，从而消除了逐位置对的对角路径。

1.2.2 Gated MLA

首先，与标准 MLA 相比，K3 对所有 MLA 层应用了无位置编码（NoPE）。因此这些层的 query 与 key 不施加任何显式位置编码。夹在中间的 KDA 层提供位置敏感且感知近因的序列混合，而 MLA 层则提供不受限的全局内容交互。

此外，Kimi K3 为 MLA 增加了输入依赖的 channel-wise 全秩输出门。记为位置处未门控的 MLA 输出，门控输出为：

门投影为全秩 (7168->12288)，该门允许每个 token 调制从全局注意力读出的通道。

1.2.3 Block AttnRes

关于 AttnRes，我们此前已写过一篇《谈谈 Kimi Attention Res 的工作》，此处不再赘述。

2. 关于 Linear Attention 的一些分析

2.1 为什么要用 Linear Attention？

回顾 Linear Attention 的起源，很大程度上受两个因素驱动：

其复杂度为，其中是序列长度。特别是近几年 Context window（上下文窗口）发展迅速，许多模型的上下文长度已扩展至 1M。可以预期的是，未来还将很快扩展到 3M ~ 5M。

另一个重要因素来自 Softmax。为了寻求更低代价的运算方式，使注意力矩阵具备低秩结构，成为了一个重要的探索方向。

这也正是 2020 年 Linear Attention 论文《Transformers are RNNs: Fast Autoregressive Transformers with Linear Attention》[2] 出现的原因。该文章从标准注意力：

演进到线性注意力：

并且可以写成因果递推（RNN）形式：

核心观点如下：

• 核特征映射线性化：将 softmax 注意力中的替换为可分解核，使注意力矩阵具备低秩结构。
• 结合律加速：利用改变计算顺序，先算（与无关），将复杂度从降至。
• Transformer-RNN 等价性：证明因果线性注意力可以写成递推形式，本质上是一个隐状态为矩阵的 RNN。
• 常数内存梯度：推导出前向/反向传播都可以用累积和在线性时间、常数内存内完成。

上記の理由から、多くの人が Linear Attention の可能性に注目しています。計算複雑度が低く、メモリ消費も一定で、Softmax といった比較的遅い演算を回避できるからです。どれも魅力的な特徴です。しかし、これほど完璧な仕組みが本当にあるのでしょうか？物語はいつもこうです。機能や要素が増え、システムが重くなる一方です。

RDMA の例を考えてみましょう。最初はシンプルに「損傷なし」を実現し、ハードウェアも単純で高速でした。しかし最近では、数年かけて何度もパッチを適用しても完全には解決できていません。なぜ誰も「最初から間違っていたのではないか」と疑わないのでしょうか？

2.2 パッチが厚くなる一方

冒頭でも触れた通り、Linear Attention が抱える問題に対処するため、Convolution（畳み込み）を追加して修正する必要が出てきました。さらに、非線形活性化関数である SiLU も追加されました。本来避けたい指数演算が再び加わってしまいました。それでもなお、状態の蓄積や衝突は解消されません。

Linear Attention は状態行列への入力しかできず、不要な情報を「忘れる」ことができません。そこで Mamba-2 では、入力の依存度に応じた記憶寿命（input-dependent memory lifetime）を導入しましたが、忘却が粗すぎ、書き込みも単純な加算に留まりました。次に登場した DeltaNet は、現在のキーに沿って指向性のある書き換えが可能になりましたが、グローバルな旧状態を即座にクリアする仕組みがありませんでした。

そこで Gated DeltaNet が生まれました。これにより、グローバル忘却と指向性書き換えの両立が可能になりましたが、ヘッド（head）ごとに減衰率（decay）は一つだけという制約が残りました。そして KDA の登場です。KDA はキーチャネルごとに独立した減衰を導入しましたが、固定された状態では完全な「トークンアドレス可能メモリ」とは言えません。

他方、遷移行列を考慮すると、その固有値は 1 つが 1 で、残りの d-1 個は λ です。v 方向の固有値は λ です。もし λ を制約しない場合、たとえ |λ| < 1 であっても、再帰過程でその方向が増幅されたり、逆に過剰に反転（オーバーシュート）したりする可能性があります。

Q/K に L2Norm を加える理由

Q は状態遷移には関与しないため、再帰の安定性を考える際、鍵となるのは K です。ただし、出力やチャンク内では Q も K も両方とも使用されます。もし K だけを正規化した場合、

つまり、Query が投影された後のノルム（長さ）に制約がなく、それが読み出し時の増幅係数として直接使われてしまいます。Query のベクトルが長くなればなるほど、読み出される結果は全体として大きく増幅されてしまいます。

Softmax Attention ではこの点を気にする必要がありません。なぜなら、各行で必ず Softmax による正規化が行われ、重みの合計は常に 1 になるからです。Query が長くなっても注意力の分布がより鋭くなるだけで、出力は V の加重平均であり、全体のスケールが増幅されることはありません。

一方、KDA ではこの正規化ステップがありません。そのため、Query のノルムがそのまま結果に乗算されます。これにより、状態の読み出しも増幅され、チャンク内のトークン間の類似度も増幅されてしまいます。逆伝播の際には勾配の規模も変動し、学習の安定性が損なわれます。

Q と K を両方とも正規化すれば、

このとき Q/K は主にアドレス方向（どの位置を参照するか）を表すようになり、類似度の値は有界になります。

では、なぜ V には正規化が必要ないのでしょうか？

Q と K は「どこから読み込むか」、V は「どこへ書き込むか」を表します。これらベクトルのノルム（模長）は、アテンションの親和性（affinity）と重複して制御強度を決定してしまうため、この自由度は排除すべきです。一方、V の値そのものが内容の強さを運ぶ役割を持つため、無理に単位球面上に圧縮する必要はありません。状態の読み出し後には、ヘッドごとの RMSNorm と出力ゲートが最終的なスケールを調整します。

しかし、これらのパッチはまだ完全ではありません。K3 の KDA ではさらに、下界付きの減衰とグローバルな出力ゲートが追加されています。

固定された状態行列を使用することが KDA の効率性の源泉である一方で、それが構造的な制約にもなっています。1 つの状態ベクトルは任意に長い履歴を圧縮しなければならず、フルアテンションのようにすべてのトークンの独立したアドレスを保持することはできません。

そこで Kimi Linear と K3 はハイブリッドアーキテクチャを採用しました。K3 の基本パターンは以下の通りです。

K3 では、KDA レイヤーと Gated MLA レイヤーを組み合わせて使用し、バックボーンの最後にグローバルな混合（global mixing）をもう一度保証します。両者の役割は互いに補完関係にあります。

• KDA は固定状態を担当し、長いシーケンスのミキシングを大部分処理することで、KV キャッシュの容量と履歴読み出し帯域幅を削減します。
• MLA は周期的にトークンアドレス可能なグローバル相互作用を提供し、純粋な固定状態モデルが抱える正確な検索（retrieval）における上限を補完・修復します。

この 3:1 の比率は、KV-Cache の使用量を劇的に節約しているわけではありません。全体の 93 レイヤーの構成と KV Cache のオーバーヘッドは以下の通りで、MLA の KV Cache 使用量が非常に大きい影響を与えていることがわかります。

image 104B のアクティブパラメータ分布を見ると、全体的にやや大きめです。私の当初の推計ではアクティブパラメータは約 80B 程度でしたが、最終的なオープンソース化の結果は予想よりほぼ 20B も多くなってしまいました。

image 他方、KDA との連携のために、MLA にもさらに Gated Output を追加する必要があります。単純な試算では、Gated Output の追加だけでアクティブパラメータが約 8B 増加します。これだけのコストを払ってでもやる価値があるのでしょうか？正直に言って、システム全体の複雑さは増す一方です。だからこそ、このような図が存在するのかもしれません。

Kimi が Linear Attention の実現に向けて K3 で多大な努力を払ったことは事実です。直感的には、Gated Output や AttnRes、そして後続の per-head moun などは、訓練中の安定性問題に対処するために段階的に追加されたパッチのようなものです。しかし、これらの追加が重くなりすぎた結果、Linear Attention が本来持つべきメリットを十分に得られなかったという側面もあります。一方で、内部で多数の小演算子を融合させることで計算複雑度は依然として高いままです。

さて、この節では、これら 3 つの要素がどのように協働するかを、純粋に数学的な観点から分析してみましょう。

2.3 KDA の再解釈：代数的視点

KDA を代数構造の観点から再解釈することは非常に価値があります。では、KDA とは何か？結論から言うと以下の通りです。

KDA の公式は以下のように記述できます。

このとき、KDA の更新則は「仿射収縮半群」を構成します。その後の分析はすべて、この代数構造の性質に基づいて展開されます。

まず、今回の書き換えについて見てみましょう。単に新しい記号を導入しただけに見えますが、この書き換えの真価は以下の分離にあります。

この分離は、後続の分析における基礎となります。

安定性の問題はほぼすべて A に起因します（状態が爆発するかどうか）。

表現力の問題はほぼすべて B に起因します（どれだけ多くの情報を埋め込めるか）。

明らかに、A はランク 1 の行列です。列方向に分解して見れば一目瞭然で、すべての d_k 個の列は、同じベクトル v のスカラー倍となっています。

第 j 列：a_j = v * b_j

2.3.1 A の固有値

ランク 1 の行列には非ゼロの固有値がただ一つしか存在せず、その値は ||v|| * ||b|| に等しくなります。A を直接計算すると以下のようになります。

これもまたランク 1 の行列であり、唯一の非ゼロ固有値は ||v|| * ||b|| です。したがって、AA^T の唯一の非ゼロ固有値も (||v|| * ||b||)^2 となります。

平方根をとれば、唯一の非ゼロ特異値が得られます。

最後のステップでは、L2 ノルム（二乗和ノルム）による正規化により ||v|| = 1 が保証されています。これは、正規化が単なる装飾ではなく不可欠な要素であることを再確認させるものです。これにより、書き込まれる振幅は ||b|| と ||v|| のみによって決定され、キーベクトルの方向には依存しなくなります。

非ゼロ特異値がただ一つしかないため、スペクトルノルム（演算子ノルム）とフロベニウスノルムは一致します。

• スペクトルノルム ||A||_2 は安定性を分析するための適切な指標です（これは演算子のゲインであり、次乗性 ||AB||_2 ≤ ||A||_2 * ||B||_2 を満たします）。ただし、通常は固有値問題を解く必要があります。
• 一方、フロベニウスノルム ||A||_F は要素ごとの閉じた式（クローズドフォーム）を持ち計算が容易です。

ランク 1 という性質により両者は等しくなるため、計算しやすいフロベニウスノルムの閉じた式を利用しながらも、スペクトルノルム特有の演算子としての性質を享受できるのです。

2.3.2 重要な構造：列方向の完全な独立

n

A は左から乗算されます。行列乗算において、左乗算は行同士を混合しますが、列同士は混合しません。A を列ごとに分解し、第 j 列を a_j と記します（ただし b_j はスカラー）。このとき、再帰式の第 j 列を取り出すと以下のようになります。

導出：A の第 j 列は v * b_j です。ここで b_j はスカラーです。これにより、重要な結論が得られます。

KDA の状態更新は、互いに独立した n 次元のアフィン动力系统（アフィン力学系）の集合です。これらは同じ遷移行列を共有しており、書き込み項のスカラー係数のみが異なります。

この構造から、以下の三つの重要な点が説明できます。

第一に、スペクトル解析では A のみを調べれば十分である理由です。128 個の列はすべて一つの遷移演算子を共有しているため、安定性は単一の演算子の性質によって決定されます。

第二に、B が正規化（ノーマライゼーション）を必要としない理由です。B は書き込み項のスカラー係数としてのみ現れ、状態ベクトル x の振幅には影響を与えますが、A のスペクトル（固有値の分布）には影響しません。安定性に対する B の依存性は加算的であり、乗算的ではありません。対照的に、C は A と B の両方に現れるため、正規化が必要となります。

第三に、B が n 次元ではなく d 次元である理由です。減衰作用はアドレス空間の座標に対して行われるものであり、その意味は「このキーチャネルの記憶がどれほど持続するか」を指します。「このバリュー成分をどの程度保持するか」という意味ではありません。

2.3.3 アフィン変換

アフィン変換である場合、以下の三つの課題に対応する必要があります。

1. スペクトルだけでなく、書き込みの累積も追跡しなければならない

純粋な線形システム x_{t+1} = Ax_t の長期的な振る舞いは、遷移行列の積 A^t によって完全に決定されます。スペクトルがゼロに収束すれば状態もゼロになります。しかし、アフィンシステムの一般解は二つの部分に分かれます。

・斉次解：初期値の忘却

・書き込み項の累積

スペクトル（つまり A の縮約性）は第一項のみを管理し、初期状態がどれほど速く忘れ去られるかを決定します。第二項は外部入力によって継続的に供給される結果であり、たとえスペクトルが小さくてもこの項が消滅することはありません。端的に言えば、純粋なスペクトル分析だけでは、状態の定常部分（ステady state）全体を見逃してしまいます。後ほど詳しく分析を展開します。

1. 結合則には交差項が含まれており、これがチャンク並列処理の核心である

二つのステップを合成した際の書き込み項は単純な b_1 + b_2 ではなく、A_2 b_1 + b_2 となります。これは、前段で書き込まれた情報 b_1 が、後段の遷移行列 A_2 を通じて作用（減衰・消去）を受けた後に、後段の書き込み b_2 と加算されることを意味します。

この交差項こそが、「先に書き込まれた情報は、その後のトークンによっても継続的に減衰・擦除される」という現象の代数的表現です。もしこれが存在しなければ（つまり純粋な加法的線形アテンションであれば）、結合則は b_1 + b_2 へと退化し、各セグメントを順序無視で合計することが可能になります。しかし、この交差項があるからこそ、KDA におけるセグメント間の縮約は順序を保つ必要があります。一言で言えば、この交差項こそが、KDA が純粋な線形アテンションよりも表現力が高く、かつ並列化が難しい根源的な理由です。

1. 不動点がゼロではない

線形システム x_{t+1} = Ax_t の不動点は、A^t → 0 の場合、自明解 x = 0 のみです。一方、アフィンシステム x_{t+1} = Ax_t + b の不動点は以下のようになります。

x* = (I - A)^{-1}b

これは、同じ入力 b を繰り返し与え続けると、状態はゼロに減衰するのではなく、その入力によって決定される非ゼロの「記憶」x* に収束することを意味します。これが本来「連想記憶」が持つべき振る舞いです。純粋な線形システムではすべてがゼロに忘れ去られてしまい、記憶媒体として機能しません。書き込み項 b が、KDA を単なる減衰器ではなく、真の記憶装置たらしめている部分です。

これら三つの課題は、同じ本質を指し示しています。

・スペクトル（A に由来）：「どれほど速く忘れるか」を管理する

・書き込み（b に由来）：「何を記憶するか」を管理する

アフィン構造はこの二つを分離しており、線形構造には前者しか存在しません。言い換えれば、

・安定性の問題はほぼすべて A に委ねられる（状態が爆発しないか）

・表現力の問題はほぼすべて b に委ねられる（どれだけ多くの情報を書き込めるか）

2.3.4 アフィンモノイド：代数的骨格

各トークンをアフィン写像とみなせば、「一連のトークンシーケンスを処理する」という行為は、これらの写像の合成となります。この合成演算は優れた代数構造を形成します。

2.3.4.1 アフィン変換の合成演算の閉包性

二つのアフィン写像を考えます。

f_1(x) = A_1 x + b_1

f_2(x) = A_2 x + b_2

直接計算すると、その合成は以下のようになります。

(f_2 ∘ f_1)(x) = A_2(A_1 x + b_1) + b_2 = (A_2 A_1)x + (A_2 b_1 + b_2)

結果もまたアフィン写像です。したがって、アフィン写像を二元組 (A, b) で表した場合、合成演算の式は以下のようになります。

(A_2, b_2) ∘ (A_1, b_1) = (A_2 A_1, A_2 b_1 + b_2)

閉包性が成立します。これが半群の最初の要件です。

特に第二成分にある A_2 b_1 に注意してください。前段で書き込まれた情報は、後段の減衰と消去（A_2 による作用）を経た後に、後段の書き込み b_2 と加算されます。これがまさに「先に書き込まれた情報が、その後のトークンによっても継続的に忘れ去られる」という現象の代数的表現です。

2.3.4.2 結合律の段階的な検証

半群の二つ目の、かつ唯一実質的な要件は結合律です。三つのアフィン対 (A_1, b_1), (A_2, b_2), (A_3, b_3) を考えます。

まず ((f_3 ∘ f_2) ∘ f_1) を計算します。内側から始めます。

(f_3 ∘ f_2)(x) = A_3(A_2 x + b_2) + b_3 = (A_3 A_2)x + (A_3 b_2 + b_3)

これをさらに f_1 と合成します。

((f_3 ∘ f_2) ∘ f_1)(x) = A_3(A_2(A_1 x + b_1) + b_2) + b_3

= (A_3 A_2 A_1)x + (A_3 A_2 b_1 + A_3 b_2 + b_3)

次に (f_3 ∘ (f_2 ∘ f_1)) を計算します。内側から始めます。

(f_2 ∘ f_1)(x) = A_2(A_1 x + b_1) + b_2 = (A_2 A_1)x + (A_2 b_1 + b_2)

これをさらに f_3 と合成します。

(f_3 ∘ (f_2 ∘ f_1))(x) = A_3((A_2 A_1)x + (A_2 b_1 + b_2)) + b_3

= (A_3 A_2 A_1)x + (A_3 A_2 b_1 + A_3 b_2 + b_3)

両式を項ごとに比較すると完全に一致します。したがって、

(f_3 ∘ f_2) ∘ f_1 = f_3 ∘ (f_2 ∘ f_1)

結合律が成立します。

結合律の深い由来について言及する価値があります。これは行列乗法の結合律に由来しています。第一成分は純粋な行列積であり、明らかに結合則を満たします。第二成分の三項（例：A, B, C）は、「第 i 段から書き出し、その後続するすべての段の遷移を順に経る」というパスの総和を表しています。括弧の付け方を変えるのは単に総和のグループ順序を変更するだけであり、各パスそのものには影響しません。

2.3.4.3 単位元：半群からモノイドへ

I を恒等写像とします。任意の状態 s に対して、

両側からの単位元が存在します。したがって厳密にはこれは単なる半群ではなく、モノイド（monoid）です。これを以下のように記号で表します。

単位元の意味論的解釈：空のトークン列は状態に対して何もしません。これは chunkwise アルゴリズムにおける「空のチャンクも有効なチャンクである」という代数的保証であり、境界ケースにおいて特別な分岐処理を不要にしています。

2.3.4.4 なぜ群ではないのか：忘却の不可逆性

前述した通り、モノイドの三条件（結合則の閉包、結合律、単位元の存在）は既に検証済みです。群がモノイドと異なる点は、単に「各要素の逆元もまたこの集合内に含まれなければならない」という追加要件があることです。これは見落としがちですが、KDA の意味論を理解する上で最も重要な点です。

モノイド M が可逆であるのは、行列 A が可逆である場合に限られ、そのとき逆行列が存在します。

では、KDA の単一ステップ遷移 T_i は可逆でしょうか？まず可逆性を確認しましょう。行列式の公式より、

各単一ステップの遷移行列は非特異（正則）です。したがって、すべての可逆行列からなる群 GL(n) 内には確かに逆元が存在し、一見すると「群」のように思えます。しかし、実際にはそうではありません。鍵となるのは、可逆な要素の逆元が「実行可能な族（feasible family）」内に存在しないという点です。

T_i^{-1} を設定して代入すると、

ここで det(A) = 0 の条件を用いました。括弧内をゼロに置くと、

したがって、

次に、この逆元と実行可能な族 F の要件を項目ごとに照らし合わせます。

したがって、

KDA が生成する要素集合は合成演算に対して閉じていますが（部分モノイド）、逆元を取る操作に対しては閉じていません。これは群ではなくモノイドです。また、det(A) = 0 の場合、逆行列は数値的に極めて不安定（病態）になります。閉包内では A=0 の点において真の特異元が出現します。

これが「忘却の不可逆性」の代数的根源です。これは実装側でデータを捨てたからではなく、アーキテクチャがモデルに与えているのが縮小方向への生成子のみであり、拡大方向への生成子が存在しないからです。前方計算では任意の組み合わせで忘却を行うことができますが、一度行われた忘却を取り消すトークン列は存在しません。なぜなら取り消しには拡大型の遷移が必要ですが、モデルはそのような遷移を生成できないからです。情報が A によって減衰したり、B が x 方向に沿って擦り消したりした場合、その情報はシーケンス軸上では二度と回復できません。

2.3.4.5 自由モノイド準同型：工程上の実装則「まず分段計算し、後に結合する」

前述の通り、アフィン対（affine pairs）は合成閉包性、結合律、単位元の存在を満たすことが証明されました。この節では、この代数的構造を、そのまま実装に落とし込める言葉へと翻訳します。

核心的な観察：KDA がトークン列を処理する際の本質は、各トークンのアフィン写像 T_i を順序通りに合成することです。合成演算には結合律が成り立つため、シーケンスをいくつかのセグメントに分割し、それぞれのセグメントに対して「その区間が状態に与える純粋な効果（一つのアフィン対）」を計算した上で、それらのアフィン対をさらに合成しても、最初から最後まで一つずつ処理した場合と全く同じ結果が得られます。

これが KDA が並列化可能である理由のすべてです。長いシーケンスは、数字の列をグループごとに和をとってから合計するのと同様にして、一つのアフィン対 T に凝縮することができます。

形式的な記述：トークンの入力空間を V（すなわち、L 層の入力を生成する空間）とし、V* を V 上の自由モノイド（すべての有限列の集合。演算は連結、単位元は空文字列）とします。定義を以下のように行います。

「1 つのトークン列」を $S$ と記し、空の序列を $\emptyset$ とします。また、列をその状態に対するアフィン変換に写す写像 $\phi: S \to \mathbb{R}^{d \times d}$ を定義します。

この定義には 3 つの重要な性質があります：

1. 空序列は恒等写像（何もしない）です。
2. 単一のトークンは、そのステップにおけるアフィン変換そのものです。
3. 2 つの列を連結した全体の効果は、それぞれの列がもたらす効果の合成になります。ここで注意すべきは、後処理される側の変換 $\phi(S_2)$ が左側に記述される点です（後から作用するため）。この「分割して計算し、その後結合する」という性質は、数学的には半群準同型と呼ばれます。

これが持つ工学的な価値は、「分段計算後に結合できる」ことと、結合順序に括弧の付け方を変えても結果が変わらない（結合律が成立する）ことにあります。これこそが、FlashKDA や KCP といった並列処理戦略を可能にする根拠です。

2.3.4.6 非可換性：結合律と可換性の違い

KDA は結合律を満たしますが、一般には可換性は満たしません。つまり、通常 $\phi(S_1) \cdot \phi(S_2) \neq \phi(S_2) \cdot \phi(S_1)$ です。

その理由は、$\Delta_t$ の特徴ベクトルが $v_t$ によって決定される（特徴方向は $v_t$ とその直交補空間で構成される）一方、$\Lambda_t$ の特徴ベクトルは固定された座標軸であることにあります。異なるトークンでは $v_t$ の方向が異なるため、$\Delta_t$ と $\Delta_s$ は一般に共通の特徴基底を持ちません。同様に、$\Delta_t$ と $\Lambda_s$ も（$v_t$ がたまたま座標ベクトルでない限り）共通の基底を持ちません。

ただし、減衰係数同士は可換です：

$$ \Lambda_t \cdot \Lambda_s = \Lambda_s \cdot \Lambda_t $$

したがって、純粋な減衰線形注意力（スカラーまたは対角行列による忘却で、$\Delta$ 項を持たないもの）の遷移行列は可換になります。しかし KDA はデータ依存性のランク 1 の方向補正を導入しているため、この可換性が破られます。

これは決して欠点ではありません。可換性があるとモデルがトークンの順序に敏感にならなくなるからです。KDA の非可換性は、まさに時系列情報を符号化する方法そのものです。つまり、厳密な順序のセマンティクスが完全に保持されているのです。これが KDA が明示的な位置エンコーディングを不要とする前提条件となっています。

2.3.5 位置情報は遷移行列の積に内包される

この問題をさらに展開するために、$\phi(S)$ から出発して反復代入を行います。

帰納法により一般解は以下のようになります：

$$ \phi(S) = \prod_{t=1}^{|S|} (\Lambda_t + \Delta_t) $$

ここで行列の積は添字を大きい方から小さい方へ、左から右へと計算します（空積は単位行列 $I$ です）。また、2 パラメータ遷移演算子を以下のように定義します：

$$ T_t = \Lambda_t + \Delta_t $$

すると一般解は簡潔に $\phi(S) = \prod_{t=1}^{|S|} T_t$ と書けます。これは任意の $k < j$ に対して以下の性質を満たします。

この式を代入し、$j=k+1$ を取り、読み出し操作を行うと：

$$ \text{Attention}(i, j) = v_i^\top (\prod_{t=i}^{j-1} T_t) u_j $$

この式は、KDA が数学的には一種の注意力機構であることを示しています。ただし核関数が異なるだけです。

位置情報が遷移行列の積に内包されていることが、ここで最も注目すべき点です。トークン $i$ から $j$ への到達可能性は、その間のすべての遷移行列の積によって完全に決定されます。これらの行列はデータから生成されるため、KDA が提供する位置情報は「データ依存性の相対位置情報」となります。

この暗黙的な核関数は、なぜ Gated MLA に RoPE（回転位置エンコーディング）が不要なのかを説明できるでしょうか？

技術報告ではこう述べています：K3 技術報告 §2.1.2 では、すべての MLA レイヤーに NoPE を採用しています。その理由は一言で「役割分担」にあります。

中間に挟まれた KDA レイヤーが位置感度と近因（直近の文脈）を感知したシーケンス混合を提供し、MLA レイヤーが制限のないグローバルなコンテンツ相互作用を提供する。

さらに技術報告 §3.4 では、NoPE を採用する理由として「KDA の循環ゲートと減衰メカニズムによって位置情報が暗黙的に符号化される」と記されています。これにより、1M トークンのコンテキストでも位置エンコーディングの手術が不要であると結論付けられています。

ここで言う「暗黙的な位置情報の符号化」の詳細は報告書内で展開されていませんが、前述の「位置情報は遷移行列の積に内包される」という式 $\prod T_t$ が、まさにその数学的表現です。位置情報はすべてこの遷移行列の積の中に含まれています。

純粋な減衰近似 $T_t \approx \Lambda_t$ を考えると、あるチャネルの減衰率が安定して $\lambda$ である場合、そのチャネルにおける核因子は以下のように単純化されます。

単に距離のみを依存させるのは、まさに純粋な相対位置バイアスであり、指数減衰型のものである。しかし、減衰率がデータに依存するようになると、同じ距離でも中間のトークン内容によってその度量が変化する。これにより、データ依存型の相対位置度量へと進化することになる。

演算子ノルムとの相容性から即座に導かれる核の指数包絡は以下の通りだ。

これが報告書にある「近因を感知するシーケンス混合」という表現の正確な意味である。KDA の核は、学習によって獲得された、チャネルごとの多尺度相対位置核そのものである。核の振幅は、データ依存型の指数減衰包絡によって制御される。この明確な境界線は、完全に L2 正規化に依存していることに注意が必要だ。もし正規化がなければ、右辺には制約のないノルムが二つ追加されてしまう。

重要なステップは、この位置情報がどのようにして MLA に伝達されるかである。これは核の展開自体からは直接得られず、補完が必要な一環となる。前述したのは KDA レイヤー自身の出力であり、MLA は別の種類のレイヤーである。これらを橋渡しするのは残差流だ。

• レイヤーが近因性をゲート付き残差流の内容に書き込む
• 時系列読み取り層は、順序を含む内容に対して純粋なコンテンツアテンションを行う

もう一つの視点として、KDA の非可換性がある。任意の二つのトークンの順序を交換すると KDA の状態が変化するため、KDA の出力には順序情報が含まれている。この出力が出力ゲートを通じて残差流に書き戻されれば、下流の MLA が読み取るコンテンツ表現にはすでに順序が含まれることになる。その結果、MLA は「NoPE」のような純粋なコンテンツスコアリング（query/k）のみを行えばよい。