Kimi K3 の KDA、Sparse Attention との比較分析

2026年8月21日 17:54 執筆：渣B（浙江省）

Linear Attention と Sparse Attention の比較についてさらに語る

TL;DR

前回の「Kimi K3 の KDA(1): KDA が Gated MLA や AttnRes とどのように協調するか」では、K3 の混合アテンション機構が『Attention は Linear か Sparse か？』という記事で指摘された 9 つの Linear Attention の欠陥をどう解決したかを詳細に分析しました。

しかし、KDA にも一つの根本的な課題があります。処理過程において状態行列は固定されており、もし KDA レイヤー内で情報が衝突や Delta による上書きによって既に失われてしまった場合、その後のプロセスでそれを回復することは不可能です。これが第一回記事で KDA の代数構造が「アフィン縮小半群」であるかを議論した理由であり、たった 6 文字に膨大な情報が凝縮されています。

「半群」という概念は、なぜ「群（グループ）」ではないのかを本質的に説明するものです。これにより、忘却の不可逆性が明確になります。同時に、複合演算の閉包性と非可換性も示されており、これが並列処理戦略において一つの次元での制限要因となります。

「アフィン変換」においては、アフィン構造が「どの程度速く忘れるか（安定性）」と「何を記憶するか（表現力）」を明確に分離しています。しかし、先に書き込まれた情報は、後の転移によって必ず忘却されます。これが表現力の源泉であると同時に、セグメント間の圧縮において順序を保つ必要がある根本的な理由でもあります。

「縮小」については、古いトークンほど重みが小さくなり、その減少は幾何級数的です。各点で収束し、一定の隙間を持たずに展開されるため、長文コンテキストにおける状態の数値精度の必要性など、多くの導出が可能になります。

しかし、第一回記事では Sparse Attention 方案との詳細な比較が不足していました。実はここには学界と産業界の間で多くの議論があります。私の一貫した見解は、未解決の問題こそが素晴らしい研究機会であるということです。議論があるということは、それぞれに優位性と欠点がある証拠です。そこで今回は、いくつかの視点からその違いを詳しく掘り下げていきます。

アテンションのデータパスを「KV 書き込みセグメント」「KV 保存セグメント」、そして最後の「Query 読み取りセグメント」に分割し、それぞれのデータパスにおける異なる圧縮メカニズムとアドレス指定メカニズムを中心に分析を行います。

アーキテクチャの視点から見ると、Linear Attn の State は、コンピュータアーキテクチャにおけるレジスタファイル（Register File）に近いものと言えます。一方、従来の Full Attn や Sparse Attn の KV は、キャッシュ構造に類似しています。つまり、モデルアーキテクチャとチップ/システムアーキテクチャの協調設計（co-design）という観点から本質を捉えれば、これは Memory サブシステムの設計問題です。ここで言う「Memory」は二重の意味を持ちます。一つは LLM における記憶機能であり、もう一つは実際のチップにおけるメモリストレア構造のことです。

さらに考慮すべき点として、Agent Harness や RSI シナリオにおける Memory の扱いがあります。そのため、全体像としては Test-Time Training や Harness シナリオにおける時空間の組み合わせ可能性（composability）の問題もカバーする必要があります。

これは需要側の分析であり、供給側におけるチップのメモリウォール（記憶壁）が存在する現状を踏まえると、アルゴリズムやモデル構造の競争は、実質的に同等の知能レベルにおける「メモリアクセスの違い」へと収斂しています。これがまさに Sparse Attention と Linear Attention の議論の核心です。

もちろん、LLM のメモリをアーキテクチャの視点から捉えるアプローチについては、後日別記事として詳しく取り上げる予定です。

本稿の構成は以下の通りです。

1. Linear vs Sparse の議論の本質とは？

1.1 標準的な Full Attention から始める

1.2 Linear Attention の実態：結合律によるクエリ知能の置換

1.3 Sparse Attention の圧縮：学習されたプーリング

1.4 統一された圧縮粒度の指標

1. 圧縮が抱える難題

2.1 KV 圧縮の下界が示すもの

2.2 排除できない O(T) の壁

2.3 Linear と Sparse の議論を再考する

2.4 Linear Attention の視点から

2.4.1 補修と統合のプロセス

2.4.2 KDA を避けて通れないいくつかの壁

2.5 Sparse Attention の視点から

1. 圧縮こそが知能である

3.1 O(T) をサポートする Linear Attn は可能か？

3.1.1 ブロックサイズの制約

3.1.2 Prefix Cache スナップショットに基づくアプローチ

3.1.3 ブロックの重なりと状態の更新速度

3.1.4 クエリに応じたブロック選択

3.2 Grassmann 多様体を用いた隠れ次元圧縮？

3.2.1 JL 補題から Grassmann 多様体へ

3.2.2 グローバル潜在空間からブロック局所部分空間へ

3.2.3 局所座標系内での Sparse Attention の実行

3.2.4 実際にはどれほど削減できるのか？

3.2.5 圧縮に適したブロックのみを低次元空間へ送る

3.3 Harness? 時間軸における圧縮の活用

3.3.1 時間軸は実は三つの時計で構成される

3.3.2 Compaction!：時間軸の圧縮

3.3.3 代数的にどちらが可逆で、どちらが交換可能か？

1. まとめ

1. Linear vs Sparse の議論の本質とは？

1.1 標準的な Full Attention から始める

コンピュータアーキテクチャの視点から標準的な Full Attention を見ると、そこには「書き込み」「保存」「読み出し」の一連のプロセスが完全に含まれています。あるトークンが入力されてから利用されるまでには、以下の三段階を経ます。

① 書き込み段：各トークンに対して1回実行

② 保存段

③ 読み出し段：各クエリに対して1回実行

Softmax を用いた Full Attention のベースラインでは、この三段階のいずれにおいても圧縮は行われません。したがって、保存量は O(T^2)、読み出しコストも同様に O(T^2) となります。

しかし、ここで重要な非対称性に気づく必要があります。

書き込み段は「各トークン」に対して1回実行されるのに対し、読み出し段は「各クエリ」に対して実行されます。さらに重要なのは、読み出し対象となる未来のクエリは、書き込み段が実行されている時点ではまだ存在していないという点です。

この視点に立てば、Linear Attention と Sparse Attention の議論の本質は、メモリの処理において「圧縮をどの段階に挿入するか」によって、出力品質を損なうことなくいかに効率を最大化できるかという点にあります。唐杰教授が最近発表した『Memory for Large Language Models』というサーベイ論文は非常に優れた内容であり、本稿でもこの視点から詳細に分析を展開していきます。

image実質的な選択は、どこに圧縮を挿入するか、そしてどの軸に沿って圧縮を行うかにかかっています。KV には圧縮可能な 2 つの軸、つまりトークン軸とチャネル軸があります。しかし、この 2 つの軸で圧縮すると結果が全く異なるため、4 つの主要なアプローチが存在します。

方案 A（案 A）：書き込み段に挿入し、トークン軸に沿って圧縮します。トークンが入力された瞬間に定長のオブジェクトに折り畳まれ、書き込み完了と同時に圧縮も完了します。これにより、過去の履歴は 1 つの状態に圧縮されます。ストレージ使用量は大幅に削減され、最も徹底した省メモリ化を実現しますが、トークン軸が 1 つのオブジェクトにまで圧縮されてしまうため、読み取り側で Query を基に「どれを選ぶか」という選択自体ができなくなります。Linear Attention や KDA がこのアプローチを採用しています。

方案 A'（案 A プライム）：書き込み段に挿入しますが、チャネル軸のみを圧縮します。MLA（Merged Layer Attention）が代表例です。KV に対する下位投影を行うことで書き込み側で圧縮し、各トークンに対して 1 回だけ実行されます。これはどの Query とも無関係であり、圧縮比は数倍に達しますが、トークン自体をマージすることはありません。つまり、エントリ数はそのまま維持され、各トークンは独立したエントリとして残ります。読み取り時には、576 次元の空間から元の K と V に再投影されるため、候補数のベースラインと全く同じであり、Query の選択権は失われません。唯一の代償は、各候補が少しぼやけてしまうことです。

両者の本質的な違いは、「圧縮によって読み取り側の選択肢を奪うか」という取舍にあります。トークン軸を圧縮するのは「選べる対象の数」に手を加えることですが、チャネル軸を圧縮するのは「それぞれの対象の解像度（鮮明さ）」に手を加えることです。

方案 B（案 B）：読み取り段に挿入します。Query が来るたびに、その Query に合わせて履歴を圧縮します。圧縮関数が自由に Query に依存できるため、Query 感知度は最大限になります。しかし、ストレージの節約にはなりません。圧縮する対象となる完全な履歴を残しておく必要があるからです。また、計算コストが「トークンあたり 1 回」から「Query あたり 1 回」に変わり、むしろ計算コストが増大します。そのため、このアプローチを実装するエンジニアはいません。

方案 C（案 C）：圧縮をストレージ段と読み取り段の両方に挿入し、2 つの軸を同時に圧縮します。DSA がこのアプローチを採用しています。まず KV の保存形態を変更し、トークン軸上で N 個のエントリを M 個にプーリング（集約）し、チャネル軸では各エントリを 512 次元に圧縮します。このステップはまだ Query とは無関係です。しかし、圧縮後に残るのは依然としてアドレス可能な KV エントリの集合であり、単にエントリ数が減っただけです。そのため、読み取り側は従来通り、Query に基づいてサブセットを選択して参照することができます。

これら 4 つのアプローチをベースラインと比較すると、進化のロジックが明確になります。

• アプローチ：圧縮挿入位置 / 圧縮軸 / ストレージ削減 / Query あたり候補数 / 圧縮関数が Query に依存可能か / Query で再構成可能か / 代表例
• ベースライン：なし / なし / なし / Full Softmax / はい / はい / -
• A：書き込み段 / トークン軸 / 1 つの定長オブジェクトに圧縮 / いいえ（因果律により禁止） / いいえ / Linear, KDA
• A'：書き込み段 / チャネル軸 / 各トークンを独立維持 / はい（Gated MLA） / はい / Gated MLA
• B：読み取り段 / 任意 / リソースを節約しない / はい / はい / - (無人実装)
• C：ストレージ段＋読み取り段 / 両軸（N→M, 512 次元化） / いいえ / はい / DSA, CSA / DSA, CSA

要理解 KDA(Kimi K3) の仕組み、まず「圧縮は本質的に情報損失を伴う」という事実を押さえる必要があります。計算資源やストレージとのバランスをどう取るかというトレードオフの中で、最適な妥協点を見出すことが求められます。

K3 が「方案 A」を採用し、トークン軸を極限まで圧縮して状態を更新する場合、その過程で可読性（アジェンダビリティ）を失わないよう、中間段階として「方案 A'」と呼ばれる一連の措置を挿入せざるを得ません。これは、トークン軸を圧縮した後に、再び参照可能な状態に戻すための安全装置のようなものです。

一方、「方案 C」は A と B の中間地点に位置します。この方式が成立する背景には、「方案 A'」と共通する、あまり目立たない性質があります。それは「圧縮された対象でも依然として参照可能である」という点です。「方案 A'」はトークンを一切結合させずにこれを維持し、「方案 C」は結合した後に一定数の独立エントリを残すことで実現しています。しかし、「方案 A」はこの重要な性質を失ってしまいます。

1.2 Linear の本質：結合律によるクエリ知能の喪失

KDA の書き込みセグメントにおける計算式は以下の通りです。

ここで、$\alpha_t$ と $\beta_t$ を含むすべてのパラメータ（$\alpha, \beta, \gamma, \delta$ など）は、現在のトークン入力 $x_t$ によってのみ生成されます。これを一般解として展開すると、以下のようになります。

この式にはクエリ $Q$ が含まれていません。つまり、履歴の中で各トークンが占める割合は、そのトークン自身が書き込まれた時の $\alpha, \beta$ と、その後のすべてのトークンの $\gamma, \delta$ の積によって決定されます。これらの値は、いかなるクエリが到来するよりも前に完全に確定してしまいます。

書き込みセグメントが完了した時点で、「どの情報が重要で、どれが不要か」という判断はすでに $\alpha, \beta$ といった値の中に固定されてしまうのです。

では、クエリは果たして何ができるのでしょうか？読み出しを暗黙的なカーネル形式で展開してみましょう。

本質的に、クエリが調整できるのは $Q$ と $K$ の間の角度だけです。しかし、クエリが調整できない「包絡線（エンベロープ）」が存在します。これは $Q$ と演算子のノルムの相容性によって決まり、以下の式で表されます。

右辺には $Q$ が含まれていません。つまり、明確な判断を下せます。「KDA においてクエリが果たせることは、すでに描かれた天井の下で方向を選ぶことだけ」です。天井そのものを動かすことはできません。この天井は距離に対して単調減少し、古いトークンほど上限が低くなります。

したがって、書き込み時に「重要ではない」と判断されて $\alpha$ が小さかった情報や、後のトークンによって繰り返し減衰された情報は、後からどんなに適切なクエリが来ても、決して取り戻すことができません。

これは本質的に「賭け」の問題になります。書き込みセグメントでは、現在において以下の二つのことを決定する必要があります：$\alpha$ で「その情報をどの程度長く保持するか」、$\beta$ で「どれほど強く書き込むか」。そしてこれら二つの最適値は、将来どのようなクエリが来るかに依存します。

最初の 2 つのトークンまで完全に同じだが、その後のクエリが異なるシナリオにおいて、KDA は必ず同じ $\alpha, \beta$ を出力します。未来のクエリを予測できない以上、書き込み時点での判断は固定されてしまうのです。

より直接的な対比として、以下の式を見てください。

左辺：和を先に計算し、クエリに依存しない評価を行う

右辺：まずスコアを付け、その後で和を計算する（クエリ依存）

左の式が $O(1)$ で毎ステップ処理できる唯一の理由は、和の計算をクエリの適用前に移したからです。一度和が計算されれば、履歴はクエリに依存しない一つのオブジェクトとなり、その後にどれだけ多くのクエリが来ても、読み出しにかかるコストは一度きりで済みます。

これは効率のための取舍です。「読む前にまず何を読むかを確認する」という権利を放棄し、代わりに定数時間での状態更新と引き換えにしたのです。これにより、クエリは状態行列の中から方向を選ぶことしかできず、Sparse Attention のように「どのオブジェクトを対象とするか」を選択することはできなくなります。

もう一つの側面として、固定された状態行列の容量制限があります。現在の K3 を例にとると、各層が収容できる上限は約 $1M$ 個の要素です。コンテキスト長を $L$ とすると、1M のコンテキスト下でトークンあたり保持される要素数はおよそ 1.5 個に過ぎません。

しかし、Linear Attention 自体が抱える欠陥（前述した 9 つの欠陥など）に対処するためには、Hybrid Attention を導入する必要があります。

1.3 Sparse Attention の圧縮：学習によるプーリング

DeepSeek-V4 を例に取ると、その「圧縮」ステップは KDA の「減衰による被覆」とは全く異なる情報損失のメカニズムを持つため、詳しく見る価値があります。

HCA(Hybrid Compressed Attention) の形式が最もシンプルです。$\alpha, \beta$ を定義し、每 $k$ 個のエントリを以下のように圧縮します。

ここで $w_i$ は学習可能なウィンドウ内の位置バイアスです。この圧縮操作により、シーケンス長は $1/k$ に短縮されます。注意すべき点は、$\odot$ がハダマール積（要素ごとの積）であるため、重みがチャネルごとに独立していることです。つまり、同じウィンドウ内でもチャネルによって異なるトークンを主要な情報源として選択できます。この点はしばし見落とされますが、これにより圧縮の表現力は単なるスカラー加重平均よりもはるかに高くなります。

CSA(Compressed Sparse Attention) の圧縮率は 4 ですが、もう一つの特徴として「オーバーラップ（重なり）」メカニズムを持っています。これは二組の投影 $W_1, W_2$ と二組の重み $\alpha_1, \alpha_2$ を計算し、各圧縮スロットは $k$ 個のエントリから生成されます。

「Q」のインデックスと「K」のインデックスが重なるため、シーケンス長は圧縮されますが、隣接するスロットでは境界トークンを共有します。この重なりは単なる平滑化のテクニックではなく、より深い意味を持ちます。圧縮されたスロットを獲得した後、CSA は Query を基に再度 top-k インデクサで選択を行うことができます。一方、HCA レイヤーは圧縮比が低いため、すべての圧縮スロットに対して密なアテンション（dense attention）を適用します。

1.4 統一された圧縮粒度の尺度

トークン数を 1 つの分割不可能なユニットにマージする数を「G」と定義すると、「Q」が識別できる履歴断片数は G で表されます。4 つのメカニズムを同じ定規の上に並べて比較します。

• メカニズム：圧縮粒度 / 1M でのアドレス可能ユニット数 / ユニットあたりの次元数 / トークン・層あたり保持要素数 / Query の動作
• KDA, 69 レイヤー：1 (1M では 1.5) / 1 / - / 1.5 / 方向のみ選択可能
• Gated MLA, 24 レイヤー：1 / 1,048,576 / 576 / 576 / すべてのユニットに連続重み付け
• DSv4 HCA, 31 レイヤー：128 / 8,192 / 512 / 4 / すべてのユニットに連続重み付け
• DSv4 CSA, 30 レイヤー：4 (2 倍の重なりを含む) / 262,144 / 512 / 128 / まず 1024 を選択し、その後重み付け

圧縮率の観点から見ると、1M の条件下で KDA はトークン・層あたりわずか 1.5 個の要素しか保持しません。一方、DSv4 の HCA レイヤーは 4 個を保持します。KDA の方がより強力に圧縮されていますが、両者のオーダーは同じです。

ここで疑問があります。最終的なアブレーション実験の結果次第では、HCA はこのような高い圧縮率下でもほとんど役立たずになる可能性があります。どこまで圧縮できるかの下限値を算出できないでしょうか？

しかし、全モデルの K3 における計算量は G で、DSv4 では G です。K3 の層・トークンあたりの平均保持要素数は、実は DSv4 の 2.30 倍にもなります。「Linear Attn は本当に省演算できたのか？」と逆に問わざるを得ません。

もう一つの顕著な違いはアドレス可能ユニット数です。KDA は 1 つですが、DSv4 CSA は 262,144 です。これをビット換算すると、「1 回の読み込みで Query が下せる選択の多さ」がわかります。CSA は 262,144 ユニットから 1024 を選び出すため、その決定量は

となります。

一方、KDA のユニット数は 1 つであり、組み合わせによる選択量はちょうど G bit です。これにより「Query 依存性」に計算可能な尺度が生まれます。

• KDA の Query 依存は純粋な連続的な方向選択であり、離散的なアドレス情報はゼロです。
• HCA と MLA は離散選択を行いませんが、連続重み付けは 8,192 および 1,048,576 の識別可能なユニットに作用します。
• CSA のみが、離散選択と連続重み付けの両方を利用しています。

ここで計算可能なシナリオを提示しましょう。履歴に 2 つの事実、事実 A と事実 B があると仮定します。これら 2 つのアドレスベクトルのコサイン類似度が G です。これは自然言語において非常に一般的なケースで、同種のエンティティの Key が互いに近接することはよくあります。次に、2 つの Query を入力します：Q1 は A を求め、Q2 は B を求めます。

KDA の側では、2 つの Query はすでに相互に汚染された状態を共有しています。書き込み時に Delta は Q1 方向に沿って消去されますが、Q2 と Q1 はほぼ同方向であるため、Q2 は消去パス上にあり、ついでに一部抹殺されてしまいます。Q1 を使って Q2 を検索すると得られる相対残差は

となります。

この残差の振幅は信号そのものを超えています。さらに深刻なのは、後続の乗算減衰によって信号と汚染が同比例で縮小されるため、Q2 の状態は時間経過とともに改善しないことです。Q1 も同じく汚染された Q2 に直面しており、2 つの Query はこの汚染を個別に回避する方法を持ちません。回避できる対象が 1 つしかないからです。

DSA（DSv4 CSA）の側では、2 つの事実は異なるスロットに格納されています。それらがたまたま同じ 4 トークンのウィンドウ内に収まらない限り、Q1 と Q2 のスロットは互いに重なりません。Q1 のインデクサは Q1 のスロットを top-1024 にランク付けし、Q2 のインデクサも同様に Q2 のスロットを top-1024 にランク付けします。この 2 回の選抜は完全に独立しています。もしどちらかの選抜で漏れが生じても、そのスロットは元の場所に存在しており、次の層のインデクサが再度スコアリングを行います。

KDA と DSA の圧縮手法を比較する際、両者の干渉メカニズムに注目した分析視点も有効です。以下にその対比を示します。

2 件の事実が互いに干渉するのはどのような場合か

• 判据の性質：KDA (Key-Dependent Attention) / DSA (Distance-Sensitive Attention)
• 可预测性：両者の Key ベクトルが方向を同じくする場合。位置情報とは無関係。 / 両者が同一の圧縮ウィンドウに収まる場合。コンテンツ内容とは無関係。
• 性質：意味論的 (Semantic) / 位置的 (Positional)
• 予測可能性：学習された Key の分布次第であり、不可预测。 / T と位置情報から直接計算可能で、可预测。
• 緩和策の有無：なし。書き込み前に誰が衝突するかを事前に知る術がない。 / あり。CSA (Compressed Sparse Attention) では、2 つの投影行列が重なる構造がこの問題を解決している。

最後に、両者の決定的な差異をまとめます。

• KDA の圧縮：DSA の圧縮
• 圧縮後の対象：分割不可能な定長状態 / 依然としてアドレス可能なスロットの列
• 書き込み時の上書き：はい。K と V の減衰が T に沿って情報を消去する / いいえ。スロットは追加のみで、互いに上書きしない
• 可逆性：不可逆。モノイド群であり群ではないため / キャッシュ層では无损（情報消失なし）。スロット内でのプーリング処理のみが情報損失を引き起こす
• 失效の形態：コンテンツが消滅し、永久的に失われる / 単に見逃しただけで、再試行可能
• 补救方向：补救不可能。MLA (Multi-Head Linear Attention) の別の副本から情報を取り戻す必要がある / インデクサーの改善で対応可能。次層や次のステップで再度選択できる

このように「不確実性をいつ解消するか」という点で両者は分岐します。K3 は 69 層目に賭け、24 層の MLA と 8 つの AttnRes アーカイブによるヘッジ（対抗策）を採用しています。一方、DSv4 はすべての処理を「読み取り時」に遅延させています。

2. 圧縮が抱える難問

本章では、KV キャッシュ圧縮の理論的下界について議論を開始し、その後、Sparse Attention と Linear Attention のそれぞれの長所と短点について詳しく解説します。

2.1 KV 圧縮の下界とは何を意味するのか

KDA は計算複雑度を O(T^2) から O(T) に削減できると言われますが、この評価は KDA レベルに限られた話です。モデル全体として見れば、K3 は Linear Attention が抱える純粋な欠陥を解決するため、24 層にわたって完全な MLA を保持しています。

したがって、以下のような仮説を立てることができます：KV キャッシュの圧縮における理論的下界は、モデルレベルでは O(T) の形式で必ず存在し、これを完全に排除することは不可能です。実際の違いは、この T に付随する定数項をいかに下げるかというトレードオフの問題に過ぎません。

K3 は T 層の数を 93 層から 24 層へ減らすことで対応し、DSv4 は各層における T 項の単価を下げることで、CSA では 4 倍、HCA では 128 倍の圧縮を実現しています。

では、この下界は本当に存在するのでしょうか？前章で述べた通り、本質的には「Query-blind（クエリ情報を考慮しない）」状態におけるデータ圧縮の下界の問題として捉える必要があります。

2.2 消えない O(T) の正体

この仮説について、いくつかの論文を検索した結果、『Compression Barriers in Autoregressive Transformers』[1] という論文に詳細な記述が見つかりました。その中の定理 6 は以下の通りです。

定理 6. ある普遍的定数 C が存在し、任意の入力長 T に対して、出力 y が条件を満たす確率が少なくとも 9/10 となるようなアルゴリズムは、少なくとも Ω(T) ビットのメモリを必要とする。これは、汎用的でデータに依存しない KV キャッシュ圧縮方案は存在しないことを意味する。

数学的な記述が多すぎて「読者を人扱いしていない」と批判されることもあるため、ここではその証明の概要を噛み砕いて説明します。大まかな流れとしては、この問題を「通信インデックス問題」へと帰着させるアプローチです。つまり、Attention メカニズム自体をメモリへのアクセス問題として捉え直します。

アリスはビット列 x を保持しており、

Bob は添字 i を保持しており、Alice はそれを知らない状態です。

Alice から Bob へは、一方通行の通信（双方向のやり取りは不可）でメッセージを 1 つだけ送信できます。

Bob は少なくとも確率 p で正しい値 x_i を出力する必要があります。

この問題における一方向ランダム通信複雑性は O(log n) です。

アテンション（Attention）アルゴリズムに例えると、Alice が保持する入力は 0/1 の行列 A で、全ビット数は n×d です。Bob はこの行列の i 番目の要素を参照する必要があります。ここで、n はトークンシーケンスの長さ、d は隠れ層次元（hidden-dim）を表します。

アテンションメカニズムは、アドレス指定による読み出し操作として機能します。ここでは特に、Alice が KV（Key-Value）ペアに対して行うエンコーディングに焦点を当てます。

1. Value にエンコードする情報を載せる：最も単純なアプローチは、行列 A の i 番目の行をそのまま i 番目の Value ベクトルとして扱うことです。

つまり、v_i = A[i] です。

1. Key を相互に独立したアドレスとして使う：互いに干渉しない n 個のアドレスベクトルを構築する必要があります。標準的な正交基底 e_1, ..., e_n は、互いの内積が 0 になるため、この目的には理想的です。しかし、Key の空間を圧縮したい場合（例えば Key を d' 次元空間に落とし込み、d' < n とする場合）、n 個の厳密な直交ベクトルを収容することはできません。

ここで登場するのが、Johnson–Lindenstrauss（JL）のランダム射影です。これは非常に美しい問題解決法を提供します。「多数の高次元ベクトルを低次元に圧縮しても、それらの間のユークリッド距離を近似したまま保つことは可能か？」という問いに対する答えは「Yes」です。

形式的に記述すると、n 個の点 x_1, ..., x_n を考えます。許容される相対誤差を ε としたとき、JL の補題は以下の性質を持つ写像 f: R^d → R^{d'} が存在することを保証します。

任意の i, j に対して、

(1 - ε) ||x_i - x_j||² ≤ ||f(x_i) - f(x_j)||² ≤ (1 + ε) ||x_i - x_j||²

ここで必要な目標次元 d' は、

d' = O(log n / ε²)

で済みます。

つまり、Alice の Key を d' 次元に圧縮する場合、各要素が独立して標準正規分布に従うランダム行列 R（d × d'）を用意し、f(x) = Rx と定義します。さらに、スケーリング係数として 1/√d' を掛けます。

もし d' ≥ C log n / ε² （C は適切な定数）であれば、確率少なくとも 1 - δ で、すべての内積が以下の条件を同時に満たすことが保証されます：

つまり、高次元空間内の直交ベクトルを低次元へランダム射影しても、その直交性はほぼ保たれます。これは高次元空間の直感に反する性質を示しています。すなわち、n 次元空間は n よりも遥かに多い数の近似直交方向を収容できるのです。

ここで、下界が成立するための最初の条件として、m ≥ C log n が現れます。

Alice は n 個の三元組を入力した後、b ビットのメモリ状態を Bob に送信します。Bob はその後、アルゴリズムに新たな三元組 (i, v_i, w_i) を入力します。ここで i は第 k 番目のアドレスベクトルの方向を表し、v_i は定数因子 C でスケーリングされます（このスケーリング手法は Keles et al., 2022 に由来します）。

すると、スコアリングベクトル s_k が満たすべき条件は以下のようになります。これは論文で「ソフトマックスの可塑性 (malleability)」と呼ばれる現象です。定数 C を大きくすることで、s_k と他のスカラー値との間隔を任意に広げることができます。指数関数がさらにその間隔を増幅させるため、ソフトマックスは滑らかな加重平均から近似 argmax へと退化し、離散的支持集合上でディラックの尖峰（デルタ関数）に近づきます。

s_k をソフトマックスの重みとします。出力ベクトルの第 k 成分は以下の式で表されます。

目標項：C^2 / (1 + C^2)

干扰项：∑_{j≠k} exp(s_j) / (1 + ∑_{j=1}^n exp(s_j))

（Bob が入力した行は s_k = C^2 を満たし、分子には寄与しません。分母には C^2 という項が追加されますが、全体のオーダーは変わりません。）

以下、二つのケースに分けて検討します。主項を A、干扰项の和の上界を B と記します。

ケース 1: C = 0。分子には干扰项のみが残ります。各 s_j は負の値をとるため、B < 1 です。したがって、出力は非常に小さくなります。

ケース 2: C > 0。分子には主項 A が少なくとも一つ含まれます。A の値は C^2 に比例して大きくなるため、出力は顕著に増加します。

このプロトコルが成立するためには、Bob がこれらの二つの区間を明確に区別できる必要があります。つまり、C を十分に大きく取ることで、ケース 1 とケース 2 の出力値の差を最大化できます。論文では C = log n、n = 2^b と設定しています。

このように、二つのケースにおける出力値は C^2 倍の差が生じます。至此、C の構成が完了し、その取值範囲も確定しました。しかし、Bob が正解できることと、C が十分に大きくなることは、還元（reduction）の最後のステップまで繋がっていません。最も重要なのは、プロトコルの成功率が要件を満たすことです。

ここで失敗の原因は二つあります。一つは JL 射影が内積条件を満たさない場合（確率 ε）、もう一つはアルゴリズム自体が誤った結果を出力する場合（確率 δ）です。併集合界を用いると、Bob の成功確率は少なくとも 1 - (ε + δ) となります。

これは索引問題が求める成功率の要件を満たしています。至此、完全かつ合法的な索引問題プロトコルが構築されました。

• 入力規模：n = 2^b、つまり b ビット
• 性質：一方向性、確率的、成功率 1 - (ε + δ)
• 通信量：O(b)

JL 定理は、上記の条件を満たすいかなるプロトコルにおいても、その通信量は Ω(log n) でなければならないと断言します。したがって、以下の下界を導出できます。

本プロトコルの通信量に関する下界

論文ではさらに、以下の点についても議論されています：

低次元空間における限界：埋め込み次元が小さい場合、論文は空間計算量の下限を証明し、Zandieh 氏らが提案した SubGen アルゴリズムがこの特定条件下で理論的下界に到達していることを示しています。しかし、現在の LLM の多くはこの前提とは異なるアプローチを採用しています。

構造的仮定の役割：論文明確に指摘しているのは、非構造化なスパース性だけでは線形な空間の壁を破ることはできないという点です。つまり、アテンション行列がスパースであること自体は重要ですが、そのスパース性がどこに存在するかを知らなければ、亜線形の空間計算量の実現は不可能です。この知見は、スライディングウィンドウなど特定のスパースパターンに依存する実用的アルゴリズムの数多くの理論的根拠となっています。

スライディングウィンドロアテンションの拡張：論文では、ウィンドウ外の Value ベクトルを完全に無視しないより一般的なスライディングウィンドウアテンションメカニズムも分析されています。このシナリオに対して著者は、リザーバーサンプリング（Reservoir Sampling）に基づく新たな亜線形空間アルゴリズムを提案し、その空間計算量がほぼ最適であることを証明しました。

時間計算量の下限：論文はさらにトークン生成の時間計算量についても研究しており、非適応的（事前にデータアクセスパターンが固定される）なストリーミングアルゴリズムにおいて、最悪ケースで最後のトークンを処理するまでの時間が少なくとも一定値になることを証明しています。

2.3 Linear と Sparse の議論を再考

ここで一つ疑問が生じます。一般的な通説として以下のような主張がなされることがあります。

Linear attention の状態は固定された値に保たれ、入力と無関係であるため、必然的に情報が失われ、Softmax Attention の出力を再現することはできない。

したがって、これは保証のない有損近似に過ぎない。

それなら意味がない。KV キャッシュの保存は避けられないのだから、JL 引理を用いて KV の次元を圧縮する方がマシではないか？MLA/DSA/CSA のように。

固定された状態こそが Linear Attn の最大の弱点です。Linear attention の状態は入力よりも桁違いに小さい（次元数を n とすると、約 2000 倍の差があります）。これは完全に理論的下界の外側に位置しており、この点について Linear Attn を支持する立場の人々が反論するのは難しいでしょう。単純な Linear Attn には前稿で 9 つの欠陥を指摘しました。

しかし、こうした結論は一面しか捉えていないかもしれません。Linear Attention の道筋にはすでに Hybrid Attention が発展しており、例えば Kimi K3 は「3 層の KDA ＋ 1 層の Gated MLA」を一つのユニットとして捉えるべきではないでしょうか？

ここで議論されている困難な問題は、インデックス通信問題に帰着されます。つまり、アリスが 1 ビットを隠し、ボブが後で特定の位置から取り出すという問題です。これは本質的に「干し草の山の中の針」の問題、すなわち非構造化された長いコンテキストから単一の情報を正確に検索するタスクと同等です。したがって、定理は単に「亜線形計算には損傷が伴う」と述べるだけでなく、その損傷がどの種の問題で顕著になるかを具体的に指摘しています。

これは経験的に観察される現象とも一致します。Kimi K3 は長文コンテキストにおける正確な情報検索タスクでは性能が低下する可能性がありますが、言語モデリング、要約、常識推論など情報が高度に冗長なタスクでは損失はごくわずかです。つまり、「3 層の KDA ＋ 1 層の MLA」からなる K3 ブロック全体として、非常に有望なアテンション構造と言えるかもしれません。

こうして対立する見解が生まれます。「私が慣れ親しんだ近似手法なら多少の損傷は許容できるが、あなたの手法では許されない」という主張です。そして、「必ず無損でなければならない」という条件も必要ないのです。少し曖昧さを含ませた上で、最後に Full Attn を追加すればよいのではないでしょうか？

論文では、データに依存しない状況、つまり注意行列がスパイシーであることは知っていてもその位置が不明な場合でも、線形未満の空間計算を実現できないことが示されています。これは、インデクサーを持たない一連のスパイシーアテンションアルゴリズムの可能性を閉ざす結果となりました。

そこでハイブリッドアテンションについて、リニアアテンション支持者は「状態行列はデータ駆動型の圧縮であり、MLA（Multi-head Latent Attention）との組み合わせで長距離記憶を回復し、スパイシーアテンションよりも多くの層にわたる帰納的バイアスを持ち、汎化能力も向上する」と主張するかもしれません。

したがって、リニアアテンションとスパイシーアテンションの対立は、インデクサーを持つハイブリッドアテンションや DSA/CSA などのスパイシーアテンション手法との比較へと移行しました。

本質的な争点は、「殊途同帰」の目標に向かうものです。すなわち、Query-blind（クエリ非依存）の状態において、KV 圧縮比を維持しつつ定数項をさらに小さくし、パラメータ効率を高めるアテンション機構を見つけることです。

これは徐々に三つの軸での圧縮問題へと発展しました。第一にトークンシーケンス軸、第二に hidden-dim（隠れ次元）チャネル軸、そして第三にモデル深さの軸です。最後の「モデル深さ」は比較において見落とされがちですが、ここには重要な効率性の問いが存在します。

DeepSeek-V4 Pro のモデル層数（61 層）は、ハイブリッドアテンションを採用した K3（93 層）よりも大幅に少ないです。パラメータ規模においても V4p は K3 よりも遥かに小さいにもかかわらず、両者の性能上限はどうなるのでしょうか？少なくとも V4P-0813 の発表後のスコアを見ると、その結果は非常に良好です。これが前述の「パラメータ効率をさらに高める必要性」が定義された理由です。

リニアアテンションの欠陥をモデル深度で補うことは值得でしょうか？スケーリング則（Scaling-Law）の観点からは大規模なパラメータ規模への拡大は肯定されますが、その前にまずパラメータ効率の問題を解決すべきではないでしょうか？

その他にも、低精度アテンション計算（チップ効率の次元）やデータ依存性の時間軸の次元といった要素があります。後者は主に Agent ハーネスプロセスにおけるコンテキスト圧縮アルゴリズムで現れます。これらについては後ほど触れます。

2.4 リニアアテンションの視点

2.4.1 縫い合わせと補修のプロセス

前稿『Kimi K3 の KDA(1): KDA が Gated MLA および AttnRes とどのように連携するか』で詳述した通り、リニアアテンションにはいくつかの問題があり、conv を追加して修正する必要があります。さらに σ も加えられ、γ も必要となり、最後に非線形活性化関数である SiLU を全体に適用しなければなりません。

本来避けようとした指数演算が再び加わってしまいました。それでもなお、状態の累積や衝突は避けられません。

リニアアテンションは状態行列への入力のみを続け、不要な情報を忘却させることができません。そこで Mamba-2 では σ を導入し、入力の依存性を持つ記憶寿命を持たせました。しかし、この忘却は粗粒度であり、書き込みも依然として加算のみです。

その結果、DeltaNet が登場しました。これは Δ であり、現在のキーに沿って方向性を定めて書き換えが可能ですが、グローバルな旧状態を即座にクリアするメカニズムが欠けています。

そこで Gated DeltaNet が生まれました。これは γ であり、グローバル忘却と方向性のある書き換えの両方を可能にしますが、各ヘッドには減衰係数が一つしかありません。

そして KDA が登場しました。これは δ であり、各キーチャネルごとに独立した減衰を導入しましたが、固定された状態は完全なトークンアドレス可能なメモリとは異なります。

次に、遷移（transition）について考えましょう。この遷移には特定の固有値があり、ある方向に沿った固有値は、制約を加えない限り、仮に初期状態が安定していても、その方向での値が増幅されたり、逆方向に過剰に振れたりする可能性があります。

そのため、Q/K に対して L2 ノルム（L2Norm）の適用をパッチとして追加し、出力ゲートにもフルランク射影（Full-rank projection）を追加する必要があります。さらに MLA（Merged Linear Attention）も同時に導入されるため、全体としての活性化パラメータは約 8B 増加します。

これは KDA オペレータレベルでの話ですが、さらにその代数構造に目を向けると、KDA は「アフィン収縮半群（affine contraction semigroup）」であることがわかります。この収縮の性質が、長距離検索における記憶能力に限界をもたらすため、Hybrid Attention（ハイブリッドアテンション）を採用し、フルアテンションを持つ MLA で補完する必要があります。これが、Linear Attn から始まり、KDA へと至るまでの「縫い合わせ」的な進化の過程です。

2.4.2 KDA が避けられない3つの壁

もし将来、Linear Attn が KV の MLA のようなフルアテンションを回避し、サブラインニア（亜線形）な計算コストで利益を得られるようになるなら、等価的に言えば、トークン間のアテンションを線で結び、一つのトポロジー（位相構造）を構成したと考えることができます。その際、問われるべきは「距離が 2 離れている 2 つのトークンの間にある『線』が、KDA の状態空間の中で読み出されるまで生き残れるか」という点です。

KDA の重みは時間経過とともに指数関数的に減衰するため、この線の強度も距離に応じて指数関数的に低下します。「まだ生きている」と判断する閾値（例えば、減衰して 1% 以下になれば「死んだ」とみなす）を設定すると、以下の関係が導かれます。

ここで重要なのは、距離を大きくするには唯一つの方法しかないことです。それはパラメータを 1 に近づけることです。しかし、このパラメータを 1 に近づけると同時に、3 つの悪影響が発生します。

第一重目の壁：極端な要件（減衰の壁）

これは、距離が 10 倍になるごとに、パラメータは 10 分の 1 ずつ小さくしなければならないという要求です。例えば、458 トークンまでなら許容範囲ですが、1M トークンを支えるには、パラメータを小数点以下第 7 位まで精密に制御する必要があります。これは、ある数を「1」の極めて狭い領域に釘付けにするような、過酷な要求です。

第二重目の壁：勾配がほぼゼロ（学習可能性の壁）

このパラメータを微分すると、その値はシグモイド関数の極左端に位置することになります。ここでの勾配は 4 つ桁ほど小さくなり、最適化器に対して「この方向への更新は行わないでください」と告げるような状態になります。

第三重目の壁：学習できても計算精度が不足（数値の壁）

前稿§2.3.8 でも触れた通り、FP32 形式では有効数字が残り 7 桁程度しかありません。つまり、1M トークン離れた長距離アテンションのトポロジーループは、FP32 の精度ではもはや信頼性が保てません。

この 3 つの壁の共通点は、「互いに独立でありながら、すべてが同じ方向に制約を強めている」ことです。

• 項目：要件
• 長距離維持のための精度（第一重）：高い
• 学習のための勾配（第二重）：大きい
• 有効数字の桁数（第三重）：多い

これら 3 つはすべて同じ「ノブ」に依存しており、すべてが同一方向へ悪化しています。どの設定値を選んでも、この 3 つを同時に満たすことは不可能です。

一方で、減衰には下限と上限があります。

• 下限：パラメータが小さすぎると（例：0.99 以下）、一度に忘れすぎてしまうため、数値的な安全性を買う代わりに、「速やかに忘れる」という能力を失います。この欠損は delta 項によって補われます。
• 上限：パラメータが大きすぎると（例：1 に近い場合）、長期的な記憶を獲得できますが、その代償として「一貫した収縮の隙間」が消失してしまいます。

しかし、各ステップで更新できる delta はランク 1 の方向のみです。つまり、選択的に n 次元の概念部分空間を消去するには、少なくとも n ステップが必要です。「減衰は速く行えるが、そのチャンネル内では選択性がなく」「高速かつ選択的な忘却」を単一の層・単一のステップ内で達成することはできません。これは、複数のトークンや複数の層によるリレー方式に頼るしかありません。

ここから導き出されるのは、連続する KDA 層の連携と、モデル全体の深さが必要であるという事実です。実際、この「深さ軸」における効率性も影響を受けます。これにより、以下のような弁証法（対立）が生じます。

• 超長距離依存を維持するためには、特定のチャンネルをパラメータ 1 に近づける必要がある。
• しかし、これらのチャンネルの時間スケールを学習し続けるためには、減衰ゲートが飽和領域にない状態を保つ必要がある。
• 超長距離依存を維持するためには、計算効率を高めるために低精度（FP32 など）を使用できない。
• 減衰の矛盾をバランスさせるため、潜在的にモデル層数を深くする必要があるが、これも計算効率に影響を与える。

このように、KDA は単なる技術的な改良ではなく、計算効率、記憶容量、学習可能性という複数の要素の間で、極めて厳しいトレードオフを強いられている構造なのです。

次に、効率性に関する問題、あるいは別の言い方をすれば、「なぜ FlashKDA の chunksize は 16 に設定されているのか」という問いについて考えましょう。

公式における除算は、chunkwise 形式の弱点（アキレス腱）です。ここで登場する項は、距離保留因子の連乗積であり、その逆数は chunk 内の距離とともに無制限に増加します。負の Softplus パラメータ化を採用した場合、16 ステップの累積減衰は理論値に限りなく近づきますが、有限精度の世界では必ずオーバーフローを起こしてしまいます。

Kimi Linear の対策は、chunk を 16 トークン分のサブタイルに細分化することです。非対角タイルについては、対数空間で相対減衰を計算すれば Tensor Core で処理できますが、対角タイルは依然として位置ごとに明示的な計算が必要となり、これが chunk 内での主要なボトルネックとなっています。

Kimi K3 の解決策は、この数値問題を根源から排除することです。項の上限を封じ込めたことで、逆数の再スケーリング因子は常に正確に表現可能になります。これにより、対角タイルと非対角タイルがどちらも稠密な Tensor Core GEMM として統一され、低速な処理パスは完全に削除されました。

これが FlashKDA が chunksize = 16 を選んだ三つの理由です：

• 数値範囲: 16 は bf16 の動的範囲にちょうど収まり、chunk 内での再スケーリング技術が不要になります。
• 逆数の計算コスト: の逆数は Neumann 級数で直接展開できるため、さらなる分解は不要です。
• 命令マッピング: すべての数学演算が SM80 MMA (m16n8k16) 命令にきれいにマッピングされ、カーネルはシンプルかつ移植性が高いものになります。

「Tensor Core の一般的な 16x8x16 の次元と完璧に合致している」と言うのは正しい表現ですが、ここで別の視点を考えてみましょう。TPU や DSA アーキテクチャのアクセラレーターでは、通常 Tensor Core が 128x128 または 256x256 です。この場合どうすればよいのでしょうか？

大まかな問題は以下の図の通りです。

「CHUNK を 128 に変えればすべて解決する」と思えるかもしれません。しかし、K3 の数値制約が逆に作用してしまいます。単一レベルの再スケーリングでは、項が制限されるため（bf16/fp32 の指数上限はどちらもです）、MXU への親和性を高めるために CHUNK を大きくすることはできません。それはモデルの変更であり、カーネルの変更ではありません。CHUNK = 16 とこの制約は、セットで設計された一対の要素なのです。

より深い障壁は「チャネルごとの減衰」にあります。危険な因子が内積内部に現れます。

これはチャネルごとのベクトルであり、点積から分離して取り出すことができません。GDN や Mamba-2 のようにスカラー減衰を採用する場合、項は純粋なスカラーであるため、対数空間で自由にブロックごとに再アノテーションでき、chunk を大きくしてもほぼ痛みはありません。しかし、KDA は表現力を優先しチャネルごとの減衰を選んだ結果、再アノテーションのウィンドウが数値範囲によって 16 トークンに固定されてしまいました。

もちろん、2 レベルのループ分塊戦略を採用することも考えられます。外側の CHUNK を 128 に設定して項の影響を受けない GEMM を 128x128 で計算し、内側で行列を結合させて Tensor Core の利用率を高める方法です。しかし、全体として見れば MFU（モデルフロップル利用率）はそれほど高くならないでしょう。

2.5 Sparse Attn の視点

スパースアテンションの考え方は非常にシンプルです。まず、EOT（End of Token）の観点から見ると、SDPA（Scaled Dot-Product Attention）が最適解であるため、計算コストがかかってもソフトマックスを維持する価値があります。

残る課題は2つあります。1 つ目はチャネル軸（チャンネル方向）です。KV（Key-Value）ペアにスパース性があることを認め、JL 引理（Johnson-Lindenstrauss Lemma）を用いて隠れ次元（hidden-dim）上で圧縮を行います。これが MLA（Multi-head Latent Attention）の仕組みです。

2 つ目はトークンシーケンス軸です。コンテンツに対して一定の知見を持ち、より低次元で低精度（FP4）の評価器（インデクサー）を用いて選択を行うことで対応します。これが DSA（Dynamic Sparse Attention）のアプローチです。

さらに、シーケンスが長くなるとソフトマックスのピーク値が小さくなる問題があります。これへの対策として、アテンションシンク（attn-sink）処理を導入するか、top-k 選択によって長文コンテキストの峰度（kurtosis）を高める方法があります。

さらに進んでブロック構造による圧縮を行い、top-k 選択時にブロック境界で値がジャンプする問題を回避するため、KV 上でオーバーラップ（重複領域）を持たせる手法を採用します。これが CSA（Chunked Sparse Attention）です。これにより、DeepSeek の技術進化の全体像が見えてきます。

ただし、スパースアテンションにおいて単に一定数の top-k を固定して選択する方法には課題もあります。この硬いカットオフで選ばれたブロックが、フルアテンションをどのように近似できるかを保証する必要があるからです。以下に簡単な導出を示します。

k 個のキーがあり、ソート後のスコアを s_i、ソフトマックス確率を p_i とします（ただし i=1, ..., k）。top-k カットオフにより上位 k 個を保持し、再正規化を行います：p'_i = p_i / Z (i ≤ k)、p'_j = 0 (j > k)。ここで Z は正規化定数です。末尾の質量を ε と記します。

各トップ k の確率は分母が小さくなるため増加し（p'_i > p_i）、各末尾の確率はゼロになります。トップ側で「余った」総量は ε、末尾で「失われた」総量も ε です。したがって、このバランスが成り立ちます。

対、尤度比は と無関係な定数です。定数の対数を期待値としても、それはその定数自体になります。

これは Top-k 重帰一化に固有の構造です。スコアの分布を改めて分析すると、先頭部分は各項目が で、合計 項あります。末尾部分も同様に各項目が で、合計 項あります。これらを に代入します。

つまり、 が 1 大きくなるごとに、誤差の上界は約 倍に縮小されます。例えば の場合、 を満たすことが保証されます。この上界を評価するには、単に 2 つの数値があれば十分です。

この条件を満たすためには、直接得られる唯一の要件は以下の通りです。

捨てられた要素を除外する必要があります。

したがって、単純なバケット分割アルゴリズムを適用できます。

投桶（バケットへの投入）：スコアを計算する際に併せてバケット番号を算出し、整数カウント値に 1 を加算します。各キーに対して減算、取整、カウントの処理はそれぞれ一度だけ行います。

查表（テーブル参照）：バケット内のキーの最大値は固定されています。このテーブルはデータに依存しないため、コンパイル時に事前に計算しておくことができます。「そのバケットに含まれる要素数」に「各要素が取りうる最大値」を乗算することで、そのバケットの品質上限を導き出せます。

「累加」処理は、最も右側（スコアが最低）のバケットから左へ向かって行います。予算を超過した時点で停止し、その時点のバケットが境界線となり、閾値として機能します。これにより、特定のキーが保持されます。

HCA 実装に関連する別の潜在的な問題として、Sparse Attention が TopK をどのように選択するかに関わらず、単一ブロック内の圧縮率をさらに高める方法も検討すべき課題です。HCA のプーリングマッピングは以下の通りです。

最も単純なモデルを構築してみましょう。ゲート近似が均一であると仮定し、ウィンドウ内にはクエリに必要な信号を持つトークンが 1 つのみ存在するとします（そのスケールは S とする）。残りの N-1 トークンは互いに独立しており、平均ゼロ、同じスケールを持ちます。プーリング後のスロットは以下のようになります。

信号と同窓干渉の関係を整理します。

信号の振幅を A_s、干渉の振幅は独立した要素が加算されるため A_i とすると、両者の差（相殺）により、信噪比 (SNR) は極めて単純な形式に収束します。

• 機構：信号 / 同窓干渉 / SNR / 分貝
• MLA：1 / 0 / -- / --
• CSA：4 / 0.577 / dB / dB
• HCA：128 / 0.089 / dB / dB

もう一方の観点として、アテンション分布の損失を KL 分解して考察します。

削除された確率質量は、HCA の場合、そのサポート集合がすべての圧縮スロットに及ぶため、第一項は恒等的にゼロとなります。読み取り側が无损（ロスレス）であるにもかかわらず、すべての損失がプーリング段階に集中していることがわかります。これが実質的な欠陥の源泉です。なぜなら、損失がすべて書き込み側にあり、その決定プロセスがクエリ内容と無関係であるため、クエリを変更しても失われた情報は取り戻せないからです。

以上をまとめると、Sparse Attention における実際の KVCache のストレージ量は O(N) ですが、定数項は CSA を用いることで O(1) にまで削減可能です。さらに読み取り側では TopK の選択により、デコード段階での読み取り帯域幅も一部低減できます。しかしながら、TopK の固定カットオフという問題が残っています。Dynamic バケット化アルゴリズムはこの問題を解決しましたが、固定カットオフと比較するとトークンごとの計算量が不均一となり、多数の細かな長尾計算が発生して全体の計算効率を阻害する恐れがあります。

さらに難しい課題として、圧縮率をさらに高める方法（例えば O(1) への到達）が挙げられます。この場合、HCA のような単純なプーリング手法では限界に直面します。ここには新たなアルゴリズムの検討が必要であり、これについては後ほど詳しく展開します。

最後に、Linear Attention の支持者からは、「Sparse Attention は KV に対して Append-Only（追記のみ）であり、Linear Attention のように忘却や消去機能を持たず、後段のインデクサーで選択的に削除するしかない」という指摘があります。また、Linear Attention にはより優れた帰納的バイアスがあり、汎化能力も高いのではないかという疑問も呈されています。

1. 圧縮こそが知能である

前文でも述べた通り、Sublinear な圧縮を実現するにはデータ感知型かつデータ駆動型のアプローチが必要です。本文冒頭で KDA を取り上げたのもそのためです。「アフィン収縮半群」というたった 6 文字の概念に、KDA の多くの性質が凝縮されていますが、現在のモデルはまだそのような知能レベルには達していないのが実情です。

では、私たちが現時点で考慮すべき圧縮の方向性はどこにあるのでしょうか。少なくとも第一に、O(N) を極端に追求する Linear Attention がもたらす諸々の欠陥を認め、現状の O(N) の制約を受け入れた上で、以下の方向性を検討する必要があります。

• トークン系列軸：これは「どの程度のトークンを残すか」を圧縮します。複数のトークンを 1 つのブロックとして構成し、ブロックベースで圧縮するか、TopK による Sparse な選択を行うか、あるいは Linear Attention の拡張版を採用するかなどが考えられます。
• Hidden-dim チャネル軸：これは「各トークンにどの程度の幅を持たせるか」を圧縮します。MLA（Multi-head Latent Attention）のような手法や、文脈の異なる段落を特定の部分空間へマッピングするアプローチ（Grassmann Manifold などの手法が該当します）などが候補となります。

モデルの深さ軸：これはバランスを取る必要がある軸であり、比較において最も見落とされがちな点です。Linear Attention は単層内でクエリ認識能力を失うため、その分をより多くの層数で補おうとします。結果として、節約された KV Cache のメリットは、パラメータ数の増加、直列深度の拡大、TPOT（Time Per Output Token）の悪化という形で帳尻合わせされてしまいます。したがって、この軸で問うべきは「どれだけ深く堆積できるか」ではなく、「各層のパラメータ効率」です。同じ性能を、より少ない層数とパラメータで実現できるかが重要です。

チップ効率軸（上記の3つの軸と直交する工程上の軸）：より低い数値精度での計算が可能かどうか、精度を一段階下げられるかどうかが鍵となります。