Kimi K3 と Qwen 3.8 の Attention 機構比較分析

「Attention は Sparse か、Linear か」を詳細に分析する

この話題を再び取り上げるきっかけとなったのは、Kimi K3 のモデル性能に対する好奇心です。特に、その性能向上の要因がどこにあるのか、明確に理解したいと考えています。

結論から言うと、K3 の性能向上は「データ品質」「モデル構造」、あるいは「モデル規模」のいずれによるものなのか、そして Linear Attention に基づく KDA がどれほどの貢献を果たしているのかを解明する必要があります。同様の疑問は、Qwen 3.8 で採用された GDN 方案についても当てはまります。

本稿はいかなる立場も前提とせず、特定の技術路線を支持する意図はありません。以前、Linear Attention 関連の分析を行った際、その路線を支持する有力者から激しい反発を受けた経験もありますが、今回は中立な視点で議論を進めます。

まずは標準的な SDPA（Scaled Dot-Product Attention）を出発点とし、Linear と Sparse の二つの技術的アプローチを段階的に分解して解説します。端的に言えば、これらはいずれも国内の計算資源制約下における工程上の妥協策です。

Sparse Attention は、サポート対象となるトークンの範囲を制限することで計算複雑度を抑えるアプローチですが、その主なリスクは高品質なトークンを見逃してしまう点にあります。

一方、Linear Attention は過去の情報をすべて圧縮して扱う道を選びますが、その核心となる課題は状態管理の難しさ、情報の衝突、そして不可逆的な忘却です。

モデル規模がさらに 5T〜10T の量級に膨れ上がる中、国内の計算資源制約という背景を踏まえると、Attention アーキテクチャの進化の行方はどうなるのでしょうか。まずは簡単な試算を行ってみましょう。10T 規模のモデルを訓練する場合、必要なデータ量はおよそ 200T〜300T トークンに達します。もしこれをすべて国内の計算資源で賄うなら、約 20 万枚の GPU カードが必要となり、クラスター全体の建設コストは保守的に見積もっても 400 億〜600 億元に上ります。この金額は、すでに基盤モデルを公開している一部の企業にとっても決して軽視できない負担です。3 年間の減価償却費を考慮すると、単一の基盤モデルの事前学習にかかるコストは約 20 億〜30 億元となります。

つまり、この時点で Linear と Sparse のどちらを選ぶべきかを明確にすることは、その価値がおよそ 20 億元に達する重要な判断であると言えます。

本稿の構成は以下の通りです。

詳細分析：Attention は「フル」か「スパース」か「線形」か

1. 標準的な Full Attention から始める

#### 1.1 スケーリングされた点積から確率单纯形へ

まず、標準的なアテンション（Full Attention）の仕組みを振り返りましょう。これは単なるスケーリングされた点積計算ではなく、本質的には「確率单纯形」という幾何学的な構造の上で成り立っています。

#### 1.2 Softmax は片側エントロピー最適輸送の唯一の解

ここで重要なのは、Softmax がなぜ使われるかです。実は、Softmax は「片側のエントロピー最適輸送問題」に対する数学的に唯一の解なのです。

#### 1.3 LogSumExp ポテンシャル関数が前向きな割り当てと後ろ向きの学習を結ぶ

LogSumExp というポテンシャル関数は、モデルが情報をどのように割り当てるか（フォワードパス）と、その結果に基づいて重みをどう更新するか（バックワードパス）という二つのプロセスを数学的に結びつけています。

#### 1.4 Softmax を使うことが必須でも、Softmax に代償がないわけではない

「Softmax を使わなければならない」という事実と、「Softmax の計算コストや近似による問題がゼロである」ことは別問題です。前者は真実ですが、後者は誤りです。

#### 1.5 正確な Full Softmax が持つグローバル依存関係を、普遍的に回避することはできない

最終的に、正確な Full Softmax が持つ「すべてのトークン間の相互依存関係（グローバル依存）」を、あらゆる状況で完全に回避して代替する方法は存在しません。

2. Softmax Attention の線形化から GDN へ

#### 2.1 全行列の一次展開では Vanilla Linear Attention にしか至らない

Softmax を単純に行列全体に対して一次近似（テイラー展開など）すると、得られるのは「Vanilla Linear Attention」だけです。これだけでは不十分です。

#### 2.2 Softmax 自体には正確な Delta 再帰が存在する

実は、Softmax の計算プロセスそのものにも、誤差を逐次更新できる「正確な Delta 再帰（差分再帰）」の形が存在します。

#### 2.3 対角成分のみを近似し、Query を分離するアプローチ

より高度な手法として、対角成分の重みだけを近似し、Query ベクトルを独立して扱うことで精度と効率のバランスを図る方法があります。

#### 2.4 最小誤差の代替案が GDN の形態を生む

これらの制約の中で「最も誤差が少ない」解を探すと、結果として GDN（Gradient-based Dynamic Normalization など）と呼ばれる特定の数学的形態に行き着きます。

3. Linear Attention の能力と限界

#### 3.1 核の結合律から固定された状態へ

Linear Attention は「核の結合律」を利用することで計算を高速化しますが、その代償として内部の状態が「固定されたもの」として扱われることになります。

#### 3.2 固定状態のコストは単なる近似誤差ではない

この「固定状態」を採用することによるコストは、単純な数値的な近似誤差だけではありません。より本質的な問題を引き起こします。

#### 3.3 圧縮射としての数学的反例

Linear Attention を「情報を圧縮する射（写像）」とみなした際、いくつかの数学的な反証が成り立ちます。

• 3.3.1 同じ線形状態でも、異なる Softmax の写像に対応しうる

一つの線形状態ベクトルに対して、複数の異なる Softmax アテンションパターンが対応してしまう可能性があります。

• 3.3.2 任意の有限特徴量を持つ状態には零空間での衝突が生じる

特徴量の次元が有限である限り、必ず「ゼロ空間（情報が失われる空間）」における衝突が発生し、情報の損失を免れません。

• 3.3.3 指数核は全ランクになり得るが、有限特徴量を持つ核にはランクの上限がある

指数関数を用いた核関数は理論上フルランクにできますが、有限の特徴量ベクトルを使う場合、そのランクには明確な上限が存在します。

• 3.3.4 非線形学習状態も連続的な次元数の制約を受ける

学習によって非線形に変化する状態であっても、最終的には連続する次元数の物理的・数学的制約から逃れられません。

• 3.3.5 Delta Rule は類似した Key 上でカバレッジの偏りを生む

Delta Rule（差分ルール）を用いると、似通ったキー（Key）ベクトルに対して、アテンションの重み付けに偏りや「覆い隠し」が生じることがあります。

• 3.3.6 状態更新が交換可能でない場合、順序による偏差が入る

状態の更新操作が可換（順序を交換しても結果が変わらない）ではない場合、トークンの入力順序によって誤差が蓄積・歪む可能性があります。

• 3.3.7 忘却ゲートは「長期保持」と「高速クリア」の両立が不可能

忘却ゲートを設けることで、情報を長く保持する能力と、不要な情報を素早く消去する能力を同時に最大化することは数学的に困難です。

• 3.3.8 一次近似による Softmax の線形化は凸包から外れる

Softmax を一次近似して線形化すると、確率分布が持つべき「凸包（Convex Hull）」の性質から外れてしまうことがあります。

• 3.3.9 KDA の対角ゲートや DPLR は任意の状態変換を許さない

KDA（Kernel-based Dynamic Attention）の対角ゲートや、DPLR（Diagonalized Positional Linear Recurrence）などの手法も、あらゆる状態変換を自由に表現できるわけではありません。

• 3.3.10 反例が混合アーキテクチャに与える意味

これらの数学的反例は、Linear Attention と他のアテンションを組み合わせたハイブリッドなアーキテクチャの設計にも重要な示唆を与えます。

#### 3.4 Linear Attention の代替案がなぜ「無料の昼食」にならないか

Linear Attention を補完する様々な代替案も提案されていますが、それらには必ず何らかのトレードオフやコストが伴うため、「無料で得られる利益（無料の昼食）」は存在しません。

4. KDA が GDN を修正し、残る問題点

#### 4.1 統一された忘却からチャネルごとの忘却へ

KDA は、すべてのチャネルで同じように情報を忘却するのではなく、「チャネルごとに忘却の度合いを制御する」ことで GDN の課題を修正します。

#### 4.2 KDA の位置付け

この手法は、従来の線形アテンションとフルアテンションの中間的な位置づけを持ち、両者の利点を活かそうとする試みです。

#### 4.3 WY と UT が再帰を GPU にマッピングする方法

WY（Weighted Y）や UT（Update Transformation）といった変換を用いることで、複雑な再帰計算を GPU の並列処理に効率的にマッピングすることが可能になります。

#### 4.4 KDA の効率性

これらの工夫により、KDA は高い計算効率を実現しつつ、精度の低下を抑えることに成功しています。

#### 4.5 KDA が解決していない問題

しかし、KDA も万能ではありません。特定の条件下での精度低下や、実装の複雑さなど、まだ解決すべき課題は残されています。

5. Sparse Attention の数学的論理

#### 5.1 Sparse は单纯形の実行可能領域への制限

Sparse Attention（スパース・アテンション）の本質は、計算対象となる「单纯形」の範囲を意図的に狭めることです。つまり、実行可能な解の領域を制限するアプローチです。

#### 5.2 削除された確率質量が出力誤差を直接制御する

重要なトークン間の関係（確率質量）を意図的に削除することは、最終的な出力結果に直接的な誤差をもたらします。この誤差の大きさをどうコントロールするかが鍵となります。

#### 5.3 静的スパースはグラフ構造によって予測可能なアクセスを実現

事前に決まったルールでスパース化を行う「静的スパース」では、計算グラフの構造を設計することで、メモリアクセスパターンを予測可能にします。

#### 5.4 動的スパースは難問をインデクサーへ移す

一方、「動的スパレス」では、どのトークンに注目するかをその都度決定する必要があるため、計算の難易度を「アテンション計算自体」から「適切なインデックスを見つけること」へと移行させます。

• 5.4.1 起点 DSA: 軽量インデクサーと top-k の実用レシピ

DSA（Dynamic Sparse Attention）のような初期手法では、軽量なインデクサーを使って重要なトークンを top-k で選ぶという、実用的な組み合わせが採用されました。

• 5.4.2 HiLS: 「正確に選ぶ」ことを模倣からエンドツーエンド学習へ

HiLS（Hierarchical Learning for Sparse）などの発展形では、単なるルールや模倣ではなく、モデル自身が「どのトークンを選ぶべきか」をエンドツーエンドで学習するようになりました。

• 5.4.3 IndexCache: 「安価に選ぶ」ことを層間跨いで実現

IndexCache のような手法は、計算コストを抑えるためのインデックス情報を複数の層間で共有・再利用することで、「安く選べる」仕組みを実現します。

• 5.4.4 進化の総括：難問の三つの転移

これらの進化を振り返ると、Sparse Attention が直面する難問は、計算コストからインデクサーの精度へ、そして最終的には学習プロセス自体へと「三次にわたって転移」してきたと言えます。

#### 5.5 圧縮アテンション：DeepSeek-V4 はスパースを有損圧縮の上に構築

• 5.5.1 メカニズム: 二段階の圧縮率とスライディングウィンドウ

DeepSeek-V4 が採用した「圧縮アテンション」では、二つの異なるレベルで圧縮率を設定し、さらにスライディングウィンドウを組み合わせることで、スパース性を有損圧縮の文脈に位置づけました。

• 5.5.2 数学的定式化: 商空間上で同じ EOT 問題を解く

このアプローチは、元の空間ではなく「商空間（Quotient Space）」という抽象的な空間において、同じ最適輸送問題（EOT）を解き直すことで成り立っています。

• 5.5.3 エンジニアリング上のメリット

これにより、メモリ使用量の削減や計算速度の向上といった、実用的なエンジニアリング上の恩恵が得られます。

• 5.5.4 圧縮アテンションが解決していない問題

しかし、この手法もまた、精度の低下や特定のタスクでの性能限界など、完全に解決されたわけではありません。

#### 5.6 進化の総括：難問の三つの転移（再）

Sparse Attention の技術的進化を振り返ると、そこには計算負荷からインデクサー、そして学習プロセスへと至る「難問の三次転移」が明確に見て取れます。

6. メモリアクセスモデルと並列性

#### 6.1 三種類の Attention メカニズムにおける KV Cache の容量と Decode バンド幅

Full、Sparse、Linear の各アテンションは、KV Cache（Key-Value Cache）の必要容量や、生成時のデコード帯域幅に対して全く異なる負荷をかけます。

#### 6.2 Sparse の不規則なアクセスが FLOPs の恩恵を飲み込む可能性

Sparse Attention は理論上の計算量（FLOPs）は減りますが、メモリアクセスが不規則になることで、その分だけハードウェアの性能が十分に発揮されず、FLOPs の削減効果が相殺されてしまうリスクがあります。

#### 6.3 Linear の状態行列がローカルなホットスポットとなるか

Linear Attention は計算を高速化しますが、内部で扱う状態行列が特定のメモリ領域に集中し、そこがボトルネック（ホットスポット）になる可能性も考慮する必要があります。

#### 6.4 KV Cache の容量と並列処理：Prefill、Decode、Prefix 再利用のプラットフォームコスト

実際の運用では、初期処理（Prefill）、生成処理（Decode）、そして事前学習済み部分の再利用（Prefix Reuse）など、様々なフェーズにおける KV Cache の容量管理と並列処理のコストを、プラットフォーム全体としてバランスさせる必要があります。

#### 6.5 投機的デコーディングの考慮

さらに、複数の候補を同時に生成して検証する「投機的デコーディング」の手法も、これらのアテンションメカニズムの性能評価や実装において重要な要素となります。

7. まとめ

以上のように、Attention の各形態（Full, Sparse, Linear）にはそれぞれ明確な数学的根拠と、それに対応するトレードオフが存在します。技術の進化は、単純に「計算量を減らす」ことだけでなく、「どこで誤差を受け入れるか」「どの難問をどこへ転移させるか」という本質的な選択の上に成り立っています。

結論を先に明確にしましょう。Softmax は単なる思いつきや、工程上の妥協点ではありません。数学的に見れば、それは最適解そのものです。「1 単位のアテンション予算」「点積によるスコアリング」「エントロピーの保持」という 3 つの前提条件の下では、Softmax が唯一の解となります。本節の核心は明確です。スコア付け→スケーリング→正規化→加重平均という各ステップが、それぞれ役割を担っています。

1.1 スケールド・アテンションから確率单纯形へ

一言で要約すれば、「点積がスコア付けを行い、スケーリングが数値の尺度を安定させ、Softmax がそのスコアを総量 1 のアテンション予算へと変換する」のです。

ある Query に対して、各 Key との関連性をスコアとして算出します。このスコアは任意の実数であり、そのまま重みとして使うことはできません。Softmax を適用することで、以下の性質を持つ値に変換されます。

変換後の重みは自動的に 2 つの制約を満たします。すなわち、「すべての要素が非負であること」と「全要素の和が 1 になること」です。これらの制約を満たすベクトル群は、確率单纯形（probability simplex）を形成します。

例えば次元数が 3 の場合、これは三角形となります。任意のスコアベクトルも Softmax を通ることでこの三角形内部へと圧縮されます。この 2 つの制約それぞれが、重要な利点をもたらします。

第一の利点は「出力尺度の安定性」です。出力は Value の加重平均（凸結合）となり、常にこれらの Value が形成する凸包内に収まります。これに対し、正規化を行わない単純な和を計算すると、トークン数が増えるほど数値が大きくなり、1K トークンを処理した場合と 1M トークンを処理した場合では結果のスケールが全く異なります。正規化を行うことで、出力の尺度は系列長から独立します。

第二の利点は「競争関係の形成」です。総和が 1 であることは、すべての Key が固定された予算を共有していることを意味します。ある Key に多くの予算を割り当てるためには、他の Key からその分を取り戻さなければなりません。「どの Key がより関連性が高いか」という判断は、まさにこのゼロサムゲーム（競争）を通じて行われます。対照的な例として独立したゲート制御があります。各位置でシグモイド関数を通す場合、すべてのゲートを同時に開けることも可能であり、モデルは相対的な判断を行う必要がなくなります。

最後にスケーリングについてです。Query と Key の各次元が互いに独立し、平均 0・分散 1 を持つと仮定すると、点積の値は次元数が高くなるほど分散が大きくなります。この分散を拡大する Softmax は、スコアが散らばった状態になるとすぐに「最高得点のみが 1 になる（one-hot）」という挙動に退化し、勾配も集中して消失してしまいます。これを防ぐため、√d で割ることで、分散を次元数に依存しない一定値に保ちます。これにより Softmax は、「区別がつくが飽和していない」適切な動作領域で機能します。これが温度パラメータを 1 に設定する理由です。

imageSoftmax Attention: スケールド・アテンションから確率单纯形へ

1.2 Softmax は片側エントロピー正則化付き最適輸送問題の唯一解

一言で要約すれば、Optimal Transport（最適輸送）の視点から見ると、アテンションは「1 単位の質量を配分する問題」として理解できます。コスト関数と正則化項を明確に定義し、これを最小化する問題を解くと、答えは Softmax であり、しかもそれは唯一の解となります。

まず全体像を把握しましょう。Query は荷主（貨物所有者）で、1 単位の質量を持っています。各 Key は目的地です。1 単位の質量を Key j に運ぶ際の輸送コストは、負の類似度（-s_ij）と定義されます。つまり、関連性が高いほど輸送コストは低くなります。a_ij は Key j に運ばれる質量を表します。

ここで注意すべき点は、「荷主が合計 1 単位の質量を出すこと」のみを固定しており、各目的地（Key）が受け取る量については規定していないことです。このため「片側輸送（one-sided transport）」と呼ばれます。この「片側」という点が極めて重要です。両側に配分制限がある場合（双边輸送）、閉じた解は得られず Sinkhorn 法による反復計算が必要となりますが、片側のケースであれば解析的に直接解くことができます。

最小化すべき目的関数は以下の 2 つの項から構成されます。

この二つの方向は相反しており、一種の綱引きを形成しています。第一項は総コスト（総エンタングルメント）で、これが単独で最適化されると、すべての質量がスコアが最も高いキーに集中し、argmax へと退化します。第二項は負エントロピーで、これが単独で最適化されると、質量は均一な分布へと広がります。

温度パラメータがこの綱引きを調整するノブの役割を果たします。温度がゼロになれば one-hot 分布となり、無限大になれば均一分布になります。有限の値をとる場合は、主役と脇役が存在する妥協点を得ることができます。

この最適化問題は標準的なラグランジュ乗数法で解くことができ、四つのステップで完了します。まず、制約条件にラグランジュ乗数を導入し、次に各変数について偏微分してゼロとおきます。

ここで重要な観察点は、第二の因子が変数を含んでおらず、すべてのキーに対して同じ値を持つことです。これは単なる未定定数に過ぎません。これを代入して消去すると、以下の式が得られます。

これがまさに Softmax です。言い換えれば、Softmax の正規化分母は設計者が「追加した」テクニックではなく、予算制約をラグランジュ乗数によって自動的に導き出した結果なのです。

最後に「唯一性」についてです。エントロピー項の二階微分は負の値をとるため、この項は厳密に凸関数となります。これに線形のコスト項を加えても凸性は保たれるため、目的関数全体が厳密に凸になります。単純形（シンプレックス）もまた凸かつ有界な集合であるため、極小点は必ず存在し、ただ一つに定まります。

結論として、これは条件付きの必然です。「単位質量制約」「点積コスト」「シャノン負エントロピー」という三つの前提を受け入れる限り、正規化関数は Softmax 以外あり得ません。他のメカニズムを望むのであれば、前提を変更する必要があります。正則化項を変えれば Sparsemax や Entmax が生まれ、実行可能領域を狭めれば Sparse Attention となり、クエリごとの分布を放棄すれば Linear Attention となります。

image1.3 LogSumExp 関数が前向の分配と後向の学習を結びつける

一言でまとめれば、Softmax の背後には母関数である LogSumExp が潜んでおり、その一階微分が前向きの注意力分布を、二階微分が後向き伝播における競合構造を与えます。つまり、前向きと後ろ向きは一枚の硬貨の表裏のような関係にあるのです。

この母関数は、式 1 の双対ポテンシャル関数として定義されます。

これは「ソフト化された max」と理解できます。温度パラメータがゼロに近づくと、この関数は最大値へと収束します。スコアに対して勾配を求めると、結果はちょうど注意力分布そのものになります。

つまり、前向きの Softmax による分配は、単にこのポテンシャル関数の傾きに過ぎません。さらにこのポテンシャル関数に対してもう一度微分すると、ヘッシアン行列が得られます。

これは見慣れた顔です。それはカテゴリカル分布の共分散行列そのものです。これには二つの直感的な解釈が可能です。第一に、すべての要素に同じ定数を加えても（全 1 ベクトル方向への移動）、この行列はゼロになります。つまり、すべてのロジットに同じ値を加えても分布は変わらないという、Softmax の平移不変性が保証されます。第二に、これは現在の分布がスコアの摂動に対してどの程度敏感かを測る指標です。分布が集中すればするほど共分散は小さくなり、「押し動かすのが困難」になります。

後向き伝播（バックプロパゲーション）において、この行列が直接計算に使われます。損失関数が確率に対する微分係数をとし、連鎖律を適用すると以下の式が得られます。

式 4 は、もう少し噛み砕いて説明する価値があります。各キーのスコアに対する勾配は、「そのキー自身の損失信号から、すべてのキーの平均損失信号を引いたもの」に比例します。この平均値が自動的にベースラインとして機能し、あるキーが現在の平均よりも良いパフォーマンスを示すか悪い場合にのみ、相対的に評価が高められたり低められたりするのです。

強化学習に詳しい読者ならお分かりいただけるでしょう。これはベースライン付きのアドバンテージ更新と同じ構造です。つまり、Softmax は単なる前向きの正規化テクニックではなく、構造化された後向きの信用配分メカニズムを無料で提供しているのです。前向きでどのように予算を競い合うかによって、後向きでも同様に勾配を競い合うことになります。

ついでに、分類分布におけるフィッシャー情報行列は式 3 と比較すると、ある係数の違いがあるだけです。この同一の行列が、ポテンシャル関数の曲率、確率流形上の計量、そして逆勾配の競合構造という三つの役割を同時に担っています。Softmax を置き換えることは可能ですが、その場合、この「三位一体」の関係は自動的に成立しなくなり、正則化項と幾何学的な構成を新たに設計する必要が生じます。

1.4 必須条件としての Softmax が持つ代償

一言でまとめると、前述の証明は「特定の前提条件下では Softmax が唯一解である」というものでしたが、その前提自体には代償が伴います。具体的には以下の二つの実用的なコストが存在します。第一に、計算リソース（予算）を使い切らないと Attention Sink が発生します。第二に、コンテキスト長が増大すると、アテンションは自動的に分散してしまいます。

まず、コストその一についてです。計算リソースは必ず使い切る必要があります。つまり、各 Query に対しては 100% の重み配分を強要され、たとえその層で注目すべき内容がほとんどない場合でも、全ゼロの重みを出力することはできません。学習における一般的な対策として、意味的に無関係なトークン（通常は先頭のトークン）を「ゴミ箱」として機能させ、余剰な確率質量を受け入れる手法があります。これが Attention Sink です。これは単体形制約下での no-op（何もしない操作）の工程実装と解釈できますが、懸念点もあります。例えば、ウィンドウを切り取る際にこの Sink トークンを削除すると、Softmax の分母が急激に変化します。高いスコアを持つトークンが残っていても、確率分布全体がドリフト（ずれる）する可能性があります。

次にコストその二です。コンテキスト長の外挿は自動的に保証されるものではありません。すべての logits が固定された区間に収まる場合、各重みは特定の範囲に挟まれます。この上下限は、分母の競合相手が増えるにつれて、1/N の速度で縮小します。直感的には、スコアの「音量」に限界がある一方で、分母における競争者が急増するため、各位置が得られるアテンションは 1/N に収束してしまいます。百万トークンという長文においても、同様に鋭い選択性を維持したいのであれば、logit の差を N に比例させて拡大するか、温度パラメータを動的に変化させる必要があります。正規化と競争には一定の原則がありますが、固定された温度パラメータの下で長コンテキストの外挿を行うことは、無料の午餐ではありません。

⚠️ ここには適応型温度（Adaptive Temperature）の適用機会があるように思われます。

なお、前提条件を変更すれば別のメカニズムが得られます。これは Softmax の失敗ではなく、問題設定が変わっただけです。負エントロピーを二次正則化に置き換えると、解は単体形への射影である Sparsemax となり、重みを正確にゼロにすることができます。Tsallis エントロピーを用いれば Entmax が得られます。本報告で後述する Sparse Attention は異なるアプローチを採用しています。すなわち、正則化項を変更するのではなく、Softmax の計算に参加する候補集合を縮小することで効率化を図ります。

1.5 正確な Full Softmax が持つグローバル依存は普遍的に回避できない

一言でまとめると、各 Query の分母はすべての可視 Key に依存するため、誤りを許容せずに「広く見る」ことを普遍かつ効率的に行うことは不可能です。Linear や Sparse なアプローチは、いずれも追加の仮定を置くことで計算速度の向上を実現しています。

問題の本質は正規化定数にあります。これはグローバルな性質を持ち、任意の Key がすべての重みに影響を与えます。

「干し草の山の中の針（needle in a haystack）」のような議論を用いると、この点は明確な結論として導かれます。あるアルゴリズムが総計 N 個の QK ペアしかチェックしない場合、少なくとも一つの行（ある Query）に対しては、チェックされる位置が N 個に限定されます。敵対的な入力を作成する側は、その Query で未チェックとなっている位置に極めて高いスコアの要素を仕掛けるだけで十分です。正確な Softmax は確率のほとんどをその要素に割り当ててしまいますが、アルゴリズムはその位置を認識していないため、「針がある場合」と「ない場合」の入力を区別することができず、誤差には決してゼロにならない下限が存在することになります。

この結論を正確に読み解く必要があります。これはすべての計算モデルに対する無条件の下限を示しているわけではありません。重要なのは、「敵対的入力（adversarial inputs）を許容し、分布に関する仮定を置かず、QK 対のチェックを通じてのみ情報を得られる」という特定の条件下において、「普遍的な二次未満の計算量」と「漸近的な完全な精度」は両立できないという点です。

逆に言えば、これが Linear Attention や Sparse Attention が成立する理由も説明しています。Linear Attention は「過去の情報は固定サイズの状態で圧縮できる」と仮定し、Sparse Attention は「高品質な確率質量を安価なインデクサーで事前に特定できる」と仮定しています。これらの仮定が正しければ加速は真実となり、仮定が崩れれば誤差もまた真実となります。これが後続の章における比較の基準線（ベンチマーク）となるのです。

1. Softmax Attention の線形化から GDN へ

前節の最後で提示された選択肢を思い出してください。「すべての Query に対して『全履歴を見る』という二次コストを支払いたくないなら、情報の処理方法そのものを変える必要があります」。ここではまず Linear Attention を見てみましょう。蘇教授（Su）は『Softmax Attention をゲート付きデルタネット（Gated DeltaNet: GDN）へ線形化する』[1] という記事でこのテーマを論じています。本節では、その内容を私が整理したノートです。

ここで問われるのは、「Softmax から出発し、どのような導出の道筋をたどれば、GDN のような線形再帰モデルに到達できるのか」という点です。そのルートマップは以下の 4 ステップで構成されます。

2.1 まず「愚かな道」を示す：全注意力行列を一度にテイラー展開すると、能力に限界のある Vanilla Linear Attention にしかたどり着けないこと。

2.2 Softmax 自体が、正確なデルタ再帰（delta recurrence）を内包していることに気づくこと。

2.3 各ステップで近似する数を一つに絞り込み、Query を再帰式から分離しようとする試み。

2.4 分離の過程で生じる障害に対処し、GDN の形へと落とし込むこと。

核心となる情報を一言で要約すれば、「GDN は安易に組み立てられた門控 RNN（ゲート付きリカレントニューラルネットワーク）ではなく、Softmax の正確な再帰式を『局所的近似』と『Query の分離』というプロセスを経て導出した結果として自然に現れた形態である」ということです。

2.1 全行列の一次展開では Vanilla Linear Attention にしか至れない

一言でまとめると、「すべての注意力重みを一度に一次近似（一階展開）すると、得られるのは Vanilla Linear Attention です」。このアプローチには三つの欠点がありますが、すべてがこの「一度に全部を近似する」という過剰な手法に起因しています。

固定された Query に対する因果 Softmax の出力は以下のようになります。

最も直接的な線形化の試みは、「すべてのロジット（logits）が平均値付近に集中しており、突出した要素がない」と仮定し、各重みを一次展開することです。つまり、「均等配分＋αの線形補正」を適用するのです。

これを出力式に代入すると以下のようになります。

これは「出力＝Value の平均値＋修正項（行列乗算）」と解釈できます。方括弧内の行列は Key と Value の相互共分散型行列であり、「どの Key 方向にどのような Value の偏移が伴うか」という情報を保持しています。

良い点は、この行列をシーケンスを見ながら逐次累積し、固定サイズの状態で維持できるため計算量が線形になることです。しかし、悪い点も三つあり、いずれも根本的な問題です。

第一に、一次近似された重みは負の値を取り得るため、もはや確率分布ではなくなります。これにより、§1.1 で述べた凸結合（convex combination）や予算競争の性質がすべて失われます。

指数競争が線形応答に圧縮される：あるキーのスコアが他を圧倒的に上回った場合、Softmax はそのキーに圧倒的な重みを付与する一方、線形モデルはわずかに多めに配分するだけで、「勝者総取り」のような鋭い選択を表現できません。

個々の重みが同時に近似されるため、誤差は特定の箇所に集中せず、アテンションマップ全体に均一に広がります。これがバニラ・ラインアー・アテンションの能力限界であり、その後のアプローチが回避しようとする課題です。

2.2 Softmax には正確なデルタ（増分）再帰が存在する

一言でまとめると：近似を一切行わなくても、Softmax の出力は本質的に「新しい出力＝旧予測＋ステップ幅×残差」という関係式を満たします。デルタ・ルールは外部から強要されたものではなく、Softmax に元々備わった属性です。

分母の計算において、分母は段階的に累積され（Σ）、これにより出力を正確な再帰式で記述できます。

式 6 は以下のように解釈できます。新しいトークンが入ってくるたびに、出力は旧予測から新観測へと一歩ずつ移動し、そのステップ幅は新トークンの自己重みです。これはオンライン学習において最も古典的なデルタ・ルール更新そのものです。ここで重要なのは、この過程に一切の近似が含まれておらず、完全に正確である点です。

ではなぜこれをそのまま使えないのでしょうか？再帰式に含まれる「旧予測」は特定のクエリに対するものだからです。クエリが変われば、その再帰を最初からやり直さなければなりません。シーケンス内の各位置には固有のクエリが存在するため、計算コストは O(N^2) となり、何ら節約になりません。これにより、線形化の真の目標が明確になります。Softmax を削除するのではなく、クエリを状態の再帰プロセスから分離し、履歴の状態をキーとバリューの累積のみで構成させ、最後にクエリを一度読み込むようにすることです。

2.3 対角成分の重みだけを近似し、クエリを分離する

一言でまとめると：今回は各ステップにおける一つの数値（新トークンの自己重み）のみを近似します。履歴の重みは連乗によって自動的に保持されるため、アテンションマップ全体を展開して近似するよりも精度が高くなります。しかし、クエリを分離する過程で処理しきれない二次項が現れてしまいます。

まず、自己重みに対して一階近似を行い、かつこの近似を自己重みに限定します。

式 5 との違いはどこにあるでしょうか？式 5 はすべての N 個の重みを一度に近似しますが、ここでは各ステップで対角成分の一つのみを対象とします。それ以外の履歴重みは個別に近似する必要はありません。なぜなら、これらは自己重みの連乗によって正確に再構築できるからです。

式 8 は以下のように理解できます。トークン t の現在の重み＝そのトークンが参加した瞬間の自己重み×その後の各ステップにおける「生存率」の積です。

逐次的な近似（因子ごとの近似）の方がなぜ正確なのでしょうか？簡単な例で見てみましょう。N=3 の場合、真の値は 1+ε+ε^2 ですが、N=3 で一階展開すると ε^2 が失われ 1+ε となってしまいます。逐次近似では ε^2 のような時間跨ぎの交差項を保持できますが、アテンションマップ全体を展開して近似する場合はこれらを一度にすべて捨ててしまうことになります。

次にクエリの分離です。出力がクエリ Q_t に対してアフィン（線形＋定数）になることを目指します。

ここで状態 S_t は過去のキーとバリューのみによって決定され、クエリには依存しません。これにより状態はオフラインで再帰計算でき、クエリは最終段階でのみ読み込まれます。式 9 を正確な再帰（式 6）および対角近似（式 7）に代入すると、定数部分は順調に進みます。つまり、バリューの累積平均となります。

問題はもう一つの項にあります。展開すると以下のような項が現れます。

この項では Q_t が二回出現しており、Q_t の二次項です。しかし式 9 では Q_t に一次項しか割り当てられておらず、収容できません。ここには二つの道があります。

一つは、この項を無視して捨ててしまう方法です。これを行えば最終的に式 5 と等価なバニラ・ラインアー・アテンションに戻ってしまい、結局は何も変わりません。

もう一つはこの項を処理する方法です。残差に含まれる旧予測 Q_t を、未来のクエリに依存しない代替クエリ Q̂_t に置き換えます。その代償として誤差が生じるため、問題は「どの Q̂_t を選べば誤差が最小になるか」という点に移ります。

2.4 最小誤差を実現する代替により GDN の形態が導かれる

一言でまとめると：「自己重みが大きい方向ほど誤りを許さない」という原則に基づいて代替クエリを選ぶと、答えは中心化されたキーになります。整理された再帰式は、「全体減衰」「定向消去」「書き込み残差」の三要素から構成され、GDN（Gate-based Delta Network）とほぼ同じ形ですが、Q̂_t を学習可能なゲートに置き換える違いがあります。

まず、置換のコストを定量化します。式 6 の最後の旧予測 Q_t を Q̂_t に置き換えた際の誤差は以下のようになります。

構造は非常に親和性が高く、誤差が自己重みによって自動的に調整され、全体としてスケーリングされます。つまり、自己重みが小さい方向については、置き換えても問題ありません。重要なのは、自己重みが最大となる方向を保護することです。そこで極大・極小の原則を採用し、最も危険な方向の誤差をゼロにすることを優先します。

式 7 より、Query のノルムを制限し、Query と Key のスケールが同等であると仮定すると、自己重みが最大となるのは中心化された Key（記号：K_center）です。これを代入して整理し、KDA 論文の表記形式に直すと以下のようになります。

式 11 は、3 つの動作の重ね合わせであり、どれか一つ欠けても成り立ちません。

• 全体減衰：古い状態を均等に縮小する（無差別な忘却）
• 定向消去：現在の Key の方向に沿って、旧内容を一部削除する（Delta Rule の「まず誤りを修正」）
• 残差書き込み：同じ方向に新しい情報を追加する（「後書き込み」）

標準的な Gated DeltaNet と比較すると、式 11 と式 12 ではゲートの配置位置と中心化の約束がわずかに異なりますが、明らかに同一の代数族に属しています。導出過程における固定された時間表現を、GDN はデータ依存性の学習可能なゲートへと拡張しました。この導出チェーンが示す定性的な結論は、GDN の「減衰＋消去＋書き込み」という 3 つの要素が任意に組み合わされたものではなく、それぞれが Softmax の厳密な Delta 再帰式から導かれるものであるという点です。

ただし、その限界も正しく読み取る必要があります。これは GDN が Softmax の局所近似であることを示すものであり、両者が大域的に等価であるとは限りません。

1. Linear Attention の能力と限界

前節で GDN の形態を導出しましたが、ここではより根本的な 2 つの問いに答えます。なぜ Linear Attention は、長さに比例して増大する KV Cache を固定サイズの状態に変換できるのか？その変換にはどのような代償が伴うのか？私はこの点について繰り返し問いただし続けています。将来、コンテキスト長が 500 万〜1000 万に達した際、状態行列は本当にそのような大量の情報を保持できるのでしょうか。

読み進めるための道筋：

• 3.1「可能」な側面：カーネルトリックがどのように歴史を圧縮し、DeltaNet と GDN が書き込みルールをどう改善するか
• 3.2「代償」を 4 つの項目に整理する
• 3.3 具体的な反例を用いて各項目を検証。各反例は基礎的な線形代数のみを使用し、実際に計算で検証可能
• 3.4 各種改良手法がなぜ無料ではないかを表でまとめる

核心となるメッセージを一言でまとめると、「固定状態の上限はカーネルの書き方が不十分だからではなく、『歴史を先に圧縮し、その後に問いに答える』という構造自体の限界によるもの」です。

3.1 核結合則から固定状態へ

一言でまとめると、Similarity を二つの特徴ベクトルの内積に置き換えることで、和の順序を交換できるようになり、すべての歴史情報を固定サイズの行列に圧縮できます。DeltaNet と GDN の改良は、この行列に「どのように書き込むか」に集中しています。

典型的なカーネル化 Linear Attention では、類似度を以下のように近似します。

したがって、

と定義すれば、長さ L の KV Cache を、固定サイズの状態 S で置き換えることができます。

式 (13) の意味：重要なのは、分子の項と分母の項にどちらも含まれていない点です。これにより、履歴情報を事前に「」と「」として集約しておき、クエリが到来した際に直接参照できるようになります。「」は固定ページ数の帳簿とイメージしてください。そこには「どの Key 方向に対応する Value が何か」が記録されています。一方、「」は対応するカウンターであり、正規化を担当します。これは §2.2 の末尾で設定された目標そのものです。つまり、状態は Key と Value の累積のみによって決定され、クエリは最後に一度だけ読み取るという仕組みです。

GDN と KDA はもはや無条件の累算を行うだけでなく、「」をテスト時のオンライン学習における高速な重みと解釈します。トークンが一つ来るたびに、状態を小さなモデルとして扱い、現在のサンプルを用いてそのモデルに対して 1 ステップの学習を行います。各手法の違いは、使用する損失関数の違いに帰着されます。バニラ・線形アテンションに対応する目標では、

式 (14) の意味：まず帳簿内で「」が現在何に対応しているか（旧予測値）を確認し、それを消去してから新しい「」を書き込みます。つまり「先読み書き」です。純粋な累算と比較して、これは衝突する関連性を上書きできます。同じ Key に対して新しい Value が設定された場合、古い内容は積み重なるのではなく、クリアされます。GDN はさらにスカラー減衰を追加し、帳簿全体を各ステップで少しずつ薄めることで、アクセスされなくなった旧情報も徐々に消滅させます。

3.2 固定状態の代償は単一の近似誤差ではない

一言でまとめれば：固定状態の代償とは「精度が少し落ちる」という一点ではなく、互いに独立した四つの課題です。それは「容量不足」「将来のクエリを知らずに圧縮することによる問題」「鋭い選択が平滑化されること」、そして「長距離再帰における数値リスク」の四つです。

第一の課題は容量の問題です。状態「」はシーケンス長に依存しませんが、履歴には任意の数の独立した事実が含まれ得ます。帳簿のページ数は固定されていますが、記録すべき事実は無限に増え得ます。独立した関連性が状態の有効自由度を著しく超えた場合、複数の Key が同じ状態方向を共有せざるを得なくなります。これは二つの記録が同一ページに押し込まれるようなものです。Key が類似しているにもかかわらず Value が異なる場合、新しい書き込みは古いマッピングを上書きします。デルタ則（Delta Rule）は上書きの方向をより賢く選択できますが、無限の容量を生み出すことはできません。

第二の課題は、より隠れた「クエリ非依存圧縮」に由来するものです。「」の状態は将来のクエリを確認する前に、何を保持し何を捨てるかを決定してしまいます。まるで図書館が読者の来訪前にどの本を棚に並べ、どの本を廃棄するかを決めなければならないようなものです。フル・アテンションでは、新しいクエリごとにすべての Key を再スキャンできます（すべての書庫の本は倉庫に残り、必要な時に随時取り出せます）。一方、線形アテンションは事前に圧縮された統計量のみを検索対象とします。将来のクエリ分布の外側にある「ニードル」に対しては、圧縮器がすでに唯一関連するトークンを失っている可能性があります。これが純粋な線形モデルにおいて、正確な複製や多キー関連性の検索、位置依存の記憶において後れを取る原因の一つです。

第三の課題は鋭さ（シャープネス）の問題です。Softmax の指数関数的な競争関係は完全には保持されません。テイラー展開や有限の特徴写像は、特定の logit 範囲と分布においてのみ指数核を近似するものです。少数のスコアが指数関数的な優位性を持って勝つ必要がある場合（§1.1 で述べた「勝者総取り」）、有限次元の状態では鋭い選択が平滑化された混合へと変容してしまいます。本来は特定の要素だけが突出すべき注意機構が、大鍋飯のように均されてしまうのです。正規化分母の状態「」を保持することでスケールを制御することはできますが、統合されてしまったトークンの正体を取り戻すことはできません。

第四の課題は数値的安定性です。これは再帰的な遷移における長距離乗積に起因します。GDN において、

履歴情報は「」と一連の非直交なランク-1 変換を経験します。ゲート（門）はジレンマを伴うノブのようなものです。小さすぎると長期情報が指数関数的に消失し（0.9 を数百回掛け合わせれば何も残らなくなります）、一方、1 に近づきすぎると状態の干渉が蓄積します（何も忘れないため、帳簿が次第に混雑していきます）。各ステップが安定していても、長距離乗積によって方向性の収縮や条件数の悪化が生じる可能性があります。これには Key の正規化、適切なゲートパラメータ化、そしてブロック処理における対数領域での計算が必要です。

これらの四つの課題は、次の小節でそれぞれ検証可能な反例として提示されます。

容量制約に関する§3.3.1–§3.3.4（衝突、ランク上限、次元の壁）、

クエリ非依存な圧縮に対応する§3.3.7 末尾の因果矛盾、

鋭敏性に対応する§3.3.5 と §3.3.8、

書き込みと忘却ルール自体のバイアスに対応する§3.3.5–§3.3.7、

KDA が効率のために支払う表現力の代償に対応する§3.3.9。

3.3 圧縮射としての数学的反例

一言でまとめると、Linear Attention を「圧縮」と「読み出し」の二段階パイプラインに分解した際、一つの判別基準が明確になります。一度同じ状態に圧縮された二つの歴史は、その後のクエリをどう変えても区別できなくなります。§3.3.1–§3.3.9 の反例はいずれもこの判別基準に基づいて構成されており、§3.3.10 でこれらが混合アーキテクチャに与える意味をまとめます。

まずは枠組みを整えましょう。用語自体は恐れる必要はありません。歴史を以下のように定義します。

Full Softmax Attention は、各歴史に対して「質問応答マシン」を一つ定義します。任意のクエリを入力として受け取り、対応する重み付けされた Value を出力します（これが以下の写像です。「射」という用語は単に「写し出し」あるいは「写像」として理解してください）。

一方、固定状態の Linear Attention は、この質問応答マシンを二段階のパイプラインに強制分割します。

式 16 の意味：第一段階 $\phi$ は圧縮であり、歴史全体を固定サイズの状態 $s$ に圧縮します。この処理では未来のクエリは参照できません。第二段階 $\psi$ は読み出しであり、クエリが来ても参照できるのはこの状態だけです。重要なのは中間にある「くびれ」です。すべての历史信息はこの固定サイズのパイプ $s$ を通らなければなりません。

すると、非常にシンプルながら強力な判別基準が導かれます。Linear Attention がすべての入力に対して Full Attention と厳密に等価であるためには、以下の条件を満たす必要があります。

式 17 の意味：一度圧縮されて同じ状態になった二つの歴史は、読み出し段階で得られる情報も出力も完全に同一になります。したがって Linear を Full と等しくするには、「Full で区別可能な歴史は、圧縮後も区別できる状態を保たねばなりません」。逆に言えば、Full の出力が異なるにもかかわらず圧縮後の状態が同じである二つの歴史を見つければ、等価性が成り立たないことが証明されます。

以下の反例はいずれもこの論理に基づいています。集合の言葉で言えば、写像 $\phi$ は単射ではありません（異なる入力を同一点に押しつぶしてしまいます）。圏論の用語を使えば、このような圧縮関手は忠実（faithful）ではないということです。二つの表現は本質的に同じことであり、後文では「衝突」という言葉を用います。

3.3.1 同じ線形状態が異なる Softmax 写像に対応する

一言でまとめると：一変数の歴史を二つ用意するだけで、頭計算で衝突を作り出すことができます。線形状態は完全に同一ですが、Full Softmax の出力は異なります。

まず最小限の一変数反例を見てみましょう。正規化された双一次アテンションを用います。

長さ $T=2$ の二つの歴史を考えます（各括弧内は一対のスカラー値 $(k, v)$ です）。

これら二つは完全に同一の線形状態を持ちます（直ちに確認できます：$H_1$ は $s=(1, 1)$ を、$H_2$ も $s=(1, 1)$ を与えます）。

したがって、任意のクエリ $q$ に対して Linear Attention は常に同じ出力を返します。

登録簿（レジストリ）の観点から見れば、その理由は明白です。状態は「Key で重み付けされた Value の総和」と「Key の総和」の二つの数値しか記憶していません。これらの総和が $(1, 0)$ と $(0, 1)$ の組み合わせによって構成されたのか、それとも $(0.5, 0.5)$ と $(0.5, 0.5)$ の組み合わせによって構成されたのかは、もはや問いようがありません。一方、Full Softmax Attention は各トークンの元のアイデンティティを保持しているため、この二つの歴史を区別できます。

$q=(1, 0)$ を取ると、

$\text{Output}(H_1) = (1, 0)$

となりますが、

$\text{Output}(H_2) = (0.5, 0.5)$

となり、二つの出力は確かに異なります。

この反例の意図は、すべての特徴写像がこの特定の歴史で衝突すると言っているわけではありません。重要なのは衝突が引き起こす結果です。一度 $\phi$ が二つの歴史を統合してしまえば、その後の読み出し処理がどれだけ複雑であっても、それらを再区別することはできません。まるで異なる配合の砂糖水が同じコップに注がれてしまった後、どんなに高度な機器を使っても元の配合を特定できないようなものです。読み出し関数を変えても、圧縮段階で失われた情報を回復することは不可能です。

3.3.2 任意の有限特徴状態には零空間衝突が存在する

一言でまとめると、前節の衝突は単なる運の悪さではなく、線形代数の必然です。トークン数が特徴ベクトルの次元を超えれば、無限に多くの衝突を体系的に構成することは必ず可能です。

より一般的な線形アテンション（Linear Attention）において、特徴次元を d とし、N 個のキーの特徴を行方向に並べて行列 K を作成します。状態と正規化ベクトルは以下のように表せます。

ここで N > d の場合（つまりトークン数が特徴次元より多い場合）、

この式の意味するところは、d 次元のトークン空間が d' 次元へと圧縮される際、「鳩の巣原理」により必ず何らかの方向が潰れてしまうことを保証している点です。これが零空間であり、非ゼロのベクトル z が存在して Kz = 0 を満たします。

この z を用いることで衝突を生成できます。任意の出力方向 w を選び、第二組のバリュー V' を以下のように構成します。

両方の履歴でキーが完全に同一であるため、K は同じ値を持ちます。また、

式 19 の意味は、バリューに追加した摂動 z が圧縮された「盲点」（零空間）に含まれているため、線形アテンションの状態はこれに対して全く無感であり、結果として両者の状態が完全に一致してしまうことです。一方、フルアテンション（Full Attention）の出力差は以下のようになります。

ここで α はフルソフトマックスの重みです。あるクエリ q において α がゼロでない値を持つ限り、両方の履歴をフルアテンションで区別することは可能ですが、線形アテンションでは必ず同じ出力を返さなければなりません。

この条件は決して厳しくありません。ソフトマックスの重みは q の非線形指数族の中で変化するため、通常は z と直交する固定された超平面上にすべてが落ちることはありません。「すべてのクエリがたまたま同じ方向を見失う」という状況を実現するには、非常に特殊な偶然が必要となります。

この反例は、「バリューの幅 W を増やしても記憶問題が解決しない理由」についても同時に答えています。衝突が発生するのは、トークン軸が K によって圧縮される段階であり、ボトルネックは「少数のトークンを d 次元の特徴に押し込む」という点にあります。W を拡大することは単に紙の幅を広げるだけであり、肝心のページ数（特徴次元）不足という問題には触れていません。d 次元の履歴における零空間は依然として変化しません。

3.3.3 指数核は全ランクになり得るが、有限特徴核にはランク上限が存在する

一言でまとめると、指数関数は一入力の入力であっても「任意に多くの互いに混同されない相互作用パターン」を生成可能（＝全ランク）であり、有限特徴核では最大でも d 種のパターンしか持てません。この差には計算可能な下界が存在します。

零空間における反例は、明確なランクの障壁へと発展させることができます。一入力のクエリとキーを取り、互いに異なる値 q_i を選びます。以下のように定義します。

非正規化されたソフトマックス核行列は以下のようになります。

これはヴァンデルモンド行列（各行が同一組の数値の逐次べき乗であり、「べき乗表」のような構造を持つ）です。q_i が互いに異なれば、その行列式はゼロにはなりません。

したがって rank(K) = N となります。指数核はこの N 個のクエリにおいて、反応パターンが完全に独立していることを意味します。一入力の入力だけで十分です。ソフトマックスは左側から正の行正規化対角行列を掛けるだけなのでランクを変えず、結果として

有限特徴を持つ線形アテンションの核行列は以下のようになります。

したがってそのランクは最大でも特徴次元 d に制限されます（二つの行列の積のランクは、中間の次元を超えられないため）。

N > d の場合、これはフルソフトマックス行列と一致することは不可能です。しかもこの差は「理論的に存在する」だけでなく定量化可能です。Eckart-Young 定理（最適低秩近似の誤差は捨てられた特異値の二乗和に等しい）によると、ランクが N' 以下の任意の近似は次式を満たします。

ここで σ_i は K の特異値です。

式 23 の意味するところは、最適な d 次元近似をどのように選んでも、誤差にはゼロより大きい厳密な下界が存在することです。もし N' = N とすれば、アテンション出力はそのまま注意力行列そのものとなるため、この核の誤差は直接出力の誤差となり、バリューによる射影で隠すことはできません。

この反例は、指数核と有限特徴核の根本的な違いを浮き彫りにします。クエリとキーが 1 次元であっても、指数関数は任意の数の異なるキーに対して全ランクの相互作用を生み出せます。それは無限にチャンネルを切り替えられるラジオのようなもので、各キーには独自のチャンネルがあります。一方、有限次元ではすべての相互作用が d 次元の関数空間に制限され、利用可能なチャンネルは d 個だけです。ランダム特徴を使えば近似確率を高め、d を大きくすることで誤差を減らせますが、d が固定されたままでは、任意に増大する n に対して普遍的な精度を保つことはできません。

3.3.4 非線形学習状態も連続的な次元の制約を受ける

一言でまとめると：前述の反例は「線形圧縮」を指摘したものでしたが、「GDN や KDA のような非線形ゲート更新なら回避できるのではないか？」という疑問が生じます。答えは「不可能」です。なぜなら、高次元の情報を連続的に低次元空間に損なうことなく詰め込むことは、位相幾何学の原理上あり得ないからです。

零空間やランクに関する反例は主に明示的な有限特徴写像を対象としていますが、GDN や KDA の状態更新がデータ依存かつ非線形であるとしても、状態の次元が固定され更新が連続的であれば、より一般的な次元の壁が存在します。

キーを一定に保ち、バリュー行列が開集合内で変化すると仮定します。任意の学習済み再帰型アテンションが歴史情報を d 次元の状態空間に圧縮すると考えます（ここで d はすべての永続状態要素の総数です）。もし歴史の自由度が状態の格子数よりも多い場合、つまり n > d であれば、n から d への連続的な単射は存在しません。これは位相幾何学的な次元不変性の直接的帰結であり、直感的には「平面地図を線の上に重なりなく連続的に広げることはできない」という話と同じです。更新器がどれだけ巧妙であっても、門控機構が複雑であっても、n 個の局所的自由度を持つ開集合をより低次元のユークリッド空間に衝突なしで押し込むことはできません。この議論は更新器内部の構造や門控の複雑さには一切依存しません。

これらの衝突がアテンションにおいて実際に観測可能であることを示すため、前節で構築した n 個のクエリを使用します。対応するソフトマックス行列 S は正則であり、クエリバンクの結合出力は以下のようになります。

S が正則であるため、写像 f は単射です。つまり、この Full Attention のクエリセットは完全な「試験問題」のセットのように機能し、結合出力からすべての n 個のバリューを復元できます。各バリューが個別に問いかけられるのです。もしこれが

のように正確に分解できたとすれば、写像 g も単射でなければなりません（全体として n を復元できるなら、最初の段階で情報を失ってはならない）。しかしこれは n > d の場合における連続的な次元の結論と矛盾します。

単頭 KDA において、永続行列状態は通常 d < n となります。したがって、この理想化された探査タスクでは、n > d となった時点で単頭の非衝突容量を超えてしまいます。ただし、この結論は慎重に読む必要があります。マルチヘッド、畳み込み状態、ゲート機構によって総状態次元を高めることは可能であり、実際の学習分布が任意の開集合であるとは限りません。したがって、これは特定の長さでモデルが失敗することを直接予測するものではありません。しかし、より素朴な事実を証明しています。つまり、永続状態の次元が歴史の長さに伴って増大しない限り、任意の連続的な GDN や KDA がすべての実数値履歴を損なうことなく記憶することは数学的に不可能です。「無限の歴史を有限の状態に収める」ことには数学的な道はなく、残された課題は「何を捨て、どのように捨てるか」という点のみです。

3.3.5 類似したキー上でのデルタ則による被りバイアス

一言でまとめると：デルタ則の「先に消して後から書く」プロセスにおける消去は方向性に基づいて行われます。2 つのキーの方向が非常に近接している場合、新しい情報を記録する際に古い情報も一緒に消去されてしまいます。結果として、後書き込みが先書き込みをほぼ完全に上書きすることになります。

デルタ則は無条件な累積を修正しますが、その際、現在のキーの方向に沿って過去の予測を削除します。2 つのキーが高度に相関している場合、新しい関連付けに伴う過去の予測を削除する行為は、古い関連付け自体も同時に削除してしまいます。

k1 と k2 をともに単位ベクトルとし、両者の類似度を cosθ = k1^T k2 とします。ここで θ は 0 に近いと仮定し、k1 = [1, 0]^T、k2 = [cosθ, sinθ]^T と置きます。

最初の関連付け v1 を書き込むと：

次の関連付け v2 を書き込むと：

再び k1 で最初の関連付けを照会すると：

式 24 の意味は以下の通りです。求めたいのは v1 ですが、得られるのはわずかな v2（係数 cosθ）と大量の v1（係数 sin²θ）の混合です。もし θ が非常に小さければ、v1 の係数は sin²θ ≈ 0 に近づき、結果として v1 はほぼ完全に失われます。

2 つ目の Value の汚染係数は 0.98 です。つまり、2 つの Key がわずかな角度の違いしかない場合、後から書き込まれたデータは先書きされたデータをほぼ完全に上書きしてしまいます。

直感的なイメージを説明しましょう。2 つ目のデータを書き込む際、Delta Rule は Δv の方向に沿って消去操作を行います。ここで、Δk と k1 はほぼ同じ方向を向いており、k1 はまさにその消去パス上に存在します。そのため、k1 はついでに抹殺されてしまうのです。

これは実際のタスクにおいて、「名前の似通った 2 つのエンティティ」や「同一変数への 2 回の代入」という状況に対応しています。Key が類似しているのは、特殊なケースではなく、むしろ一般的な状態です。

一方、Full Softmax は同じ Key と Query のセットに対しては全く問題を起こしません。1 つ目のデータの重みは以下のようになります。

β > 0 であれば、Δk1 · Δq < 0 のときに β(Δk1 · Δq) < -1 となります。つまり、2 つの Key が 0.01 というわずかな類似度の差しかない場合でも、Full Attention は温度パラメータを調整することでこの微小な差異を無限に拡大し、k1 を正確に選択できます。

決定的な違いは「タイミング」にあります。Full Attention は区別処理を「読み取り時」に行います（その時点では k1 と k2 の両方がまだ完全な状態です）。一方、Delta 状態のモデルでは、k2 が書き込まれる段階で k1 がすでに削除されており、読み取り時に温度パラメータをいくら下げても、一度失われた情報は回復できません。

KDA（Channel-wise Decay）は一部のチャネルにおいて情報をより長期間保持させることができますが、式 24 に示される方向性の衝突という根本的な問題は残ります。もし類似した Key が同じ状態サブスペースにルーティングされた場合、対角ゲートでは衝突の強さや持続時間を調整することはできても、両方の関連性を正確に可逆的に保証することはできません。

3.3.6 状態更新が非交換であることが順序バイアスを生む

一言でまとめると：Full Attention は歴史を「集合」として扱います（位置エンコーディングがない場合、先来後到の順番は重要ではありません）。一方、Delta 状態のモデルでは「後書きが勝つ」ルールが適用されます。同じ 2 つの記録でも、書き込む順序が異なれば、最終的な状態も異なります。

Full Attention は位置エンコーディングを使用しない場合、Key-Value の集合に対して並列不変性（Permutation Invariance）を持ちます。つまり、同じ Key に対する Value の出現順序を交換しても、出力は変わりません。しかし、Delta 状態の更新は非交換です。Δk1 · Δv1 を先に実行してから Δk2 · Δv2 を行うのと、その逆を実行するのでは結果が異なります。

1 次元の場合を考えましょう。γ = 0.98 と固定し、減衰因子を使用しない場合、1 回の書き込みは以下の式で表されます。

この式の含义：k1 の旧状態を保持しつつ、k2 の新値を混合します。後から書き込まれたデータほど、その後の操作によって希釈される程度が少なくなります。

t=1 から k1 を書き込み、次に k2 を書き込む場合:

逆に、k2 を先に書き込んでから k1 を書き込む場合:

両者の差は以下のようになります。

式 25 の意味：この 2 つの順序による差は γ に比例します。γ < 1 かつ k1 ≠ k2 であれば、順序の違いが状態に痕跡を残すことになります。特に γ = 0.98 の場合、状態は完全に最後の書き込みの結果と等しくなり、厳密な「Last-Write-Wins（最後書き込み優先）」の挙動を示します。

これに対し、Full Softmax は同じ Key に対して同一の重みを割り当て、出力は以下のようになります。

これは順序に依存しません。

公平な視点で言えば、順序への敏感性が常に欠点であるわけではありません。言語やプログラム状態には本来、順序が存在します。「変数 x がまず 1 に代入され、次に 2 に代入された場合、現在の x の値は何か」という問いに対して、「Last-Write-Wins」のルールはまさに正解です。この文脈では、非交換性は有用な帰納的バイアス（Inductive Bias）となります。

しかし、反例が示すのは別の側面です。タスクのセマンティクスが集合への集約や複数の証拠の平均化であり、かつ 2 つの名前が同じエンティティを同時に保持する必要がある場合、非交換的な再帰は系統的な「近因バイアス（Recency Bias）」を引き起こします。モデルは本能的に、最近書き込まれた内容を優先してしまいます。GDN や KDA の減衰メカニズムはこの順序の非対称性をさらに強化します。

3.3.7 忘却ゲートには「長期保持」と「迅速な削除」の両立不可能性がある

一言でまとめると：1 つの減衰率では「記憶の寿命」を 1 種類しか定義できませんが、タスクによっては「古い情報を保ちつつ」「不要になった情報をすばやく消去する」という相反する要求が同時に発生します。数学的に、単一の時間スケールでこの両方を同時に満たすことは不可能です。

ある記憶が書き込まれた後、その後の Key がすべてその方向と直交しており、Delta 修正によって直接破壊されない場合を考えましょう。これはその記憶にとって最も優しい設定です。この場合、減衰はゲートによるもののみが生じます。

固定されたスカラーゲート γ = 0.98 を使用し、t = 10 ステップ経過した後の、その記憶の最大保持率は以下のようになります。

γ^t = 0.98^10 ≈ 0.82

つまり、たとえ最も優しい条件下であっても、10 ステップ後には元の情報の約 18% が失われてしまいます。

1% の忘却を毎ステップで繰り返すと、1000 ステップ後には残存率が万分之一未満にまで低下します。もし現在のクエリにおいて「古い針」が最も高い Softmax 値を得ている場合、フルアテンション（Full Attention）は相関性に基づいて重みの大部分をそこに割り当てます（年齢は関係ありません）。一方、GDN はクエリの出現前に年齢情報だけで信号をほぼゼロまで圧縮してしまいます。つまり、「年齢が決定権を持ち、相関性が反応する猶予がない」状態です。

この対立は、同時に満たすことができない 2 つの不等式として表現できます。重要情報が長さ L の後でも少なくとも比率 α を維持することを要求すれば、

また、同じチャネル内の古びた情報が L ステップ後に β 以下に低下することを要求すれば、

となります。ここで γ < α（消去要件が保持要件よりも厳しい）の場合、2 つの不等式が指定する γ の範囲は互いに重なり合いません。1 つのノブで 2 つの異なる回転速度を同時に生み出すことは不可能です。KDA は K 個のチャネルによって複数の時間スケールを提供し、単一のノブを K 個に置き換えることで、GDN が抱える単一時間スケールの衝突を緩和します。しかし、保存すべき独立した事実や寿命カテゴリが有効なチャネル数を超えた場合、鳩の巣原理により複数の事実が減衰方向を共有せざるを得なくなり、再び衝突が発生します。

データ依存ゲートもこの矛盾を完全に解消することはできません。なぜなら、これは本質的に因果の問題だからです。未来のクエリがまだ出現していない段階で、状態更新器は現在時点で「その情報が将来重要になるかどうか」を判断しなければなりません。2 つのシーケンスが先頭の 2 つのトークン（プレフィックス）まで完全に同じでありながら、未来のクエリが異なる場合、現在のゲート値は必然的に同一になります（ゲートはプレフィックスしか見ていないため）。しかし、最適な忘却の判断は正反対になる可能性があります。これは「クエリに依存しないオンライン圧縮」における予測的な限界であり、ゲートネットワークの深さを増やすだけで普遍的に解決できる問題ではありません。

3.3.8 一階 Softmax の線形化は凸包から外れる

一言でまとめると：§1.1 で述べた通り、Softmax の出力は常に Value の凸包内に留まりますが、2 つのトークンという単純な計算例でも、一階線形化された出力はこの凸包の外へ飛び出してしまいます。その結果、「確率」が負の数になることさえあります。

Softmax からバニラ型 Linear Attention への Taylor 展開による経路にも、直接的な反例が存在します。2 つの logits をそれぞれ x と y、2 つのスカラー Value をそれぞれ v1 と v2 としましょう。厳密な Softmax の出力は以下のようになります。

x が 0 に近い場合の一階展開は次の通りです。

ここで ε = 0 と置くと、

となります。

厳密な出力は常に Value の凸包 [min(v1, v2), max(v1, v2)] の内部に留まります（2 つの Value の加重平均が両端を超えることはあり得ないため）。しかし、一階近似による出力は v1 + ε(v1 - v2) となり、これは凸包を直接突き抜けてしまいます。逆算して対応する近似確率を求めると、

となります。

ある「確率」が 1.5 に、もう一方が負の数になります。もはやそれは確率分布ではありません。これが§2.1 で指摘された最初の欠陥が具体的な数値でどう現れるかを示しています。 logits の値が小さい範囲では誤差は三階項から生じ始めますが、

つまり、logits が穏やかな状態であれば一階近似もそれなりに機能しますが、logits の差が大きくなるとすぐに制御不能になります。これは Linear Attention が学習分布内においては、投影、正規化、ゲート制御を通じて平均的な偏差を補正できることを示唆していますが、一階展開だけで大域的な確率の意味を保証するものはありません。

公平起见のために注記しておきますが、GDN や KDA のような学習型ゲートは固定された Taylor 公式よりも遥かに強力です。したがって、この反例は線形化という動機そのものを批判するものであり、「KDA の出力が必ず境界を超える」と誤解されるべきではありません。

3.3.9 KDA の対角ゲートと束縛 DPLR は任意の状態変換ではない

一言でまとめると：KDA は高速化のために、状態遷移に 2 つの制約（消去方向は現在の Key に固定、減衰は座標軸に沿う）を課しています。そのため、一般的な DPLR が 1 ステップで行える変換の一部を、KDA は 1 ステップでは実行できません。

KDA の効率性はこれらの制約によるものです。

汎用的な DPLR では、遷移行列を A = UV^T と表現でき、U と V は独立に選択可能です。「どの方向で検知するか」と「どの方向へ削除するか」を別々に選べます。一方、KDA では左側の低ランク方向が U = K に、右側の低ランク方向が V = K であることが要求されます。つまり、両方の方向が現在の Key K によって固定されてしまいます。その結果、単純な非対称遷移であっても、単一のステップで KDA が表現できるものではありません。

二次元空間において、以下の目標遷移を考えましょう。

式 30 が示す意味は、"偵察と撤去の役割分担"という転移です。第 2 座標系で衝突を検知しながらも、第 1 座標系から内容を削除するという、検出方向と削除方向が異なるケースです。

KDA（Kernelized Diagonal Attention）の非対角要素は以下の通りです。

式 30 と整合させるには、最初の項を非ゼロにし、2 つ目の項をゼロにする必要があります。しかし、両者の違いは単に $\alpha$ と $\beta$ の入れ替えだけであり、構造は極めて対称的です。これが"バインディング（束縛）"によって引き起こされる連帯責任です。

最初の項が非ゼロであるためには、以下の条件が必要です。

しかし、$\alpha = \beta$ のとき、2 つ目の項をゼロにするには $\gamma = 0$ を強制されます。すると、

と目標とする $\gamma \neq 0$ が矛盾してしまいます。一つの副作用を消し去ろうとして、本来は変更すべきでない対角要素までゼロにしてしまうのです。したがって、式 30 は汎用的な DPLR（Diagonal-plus-Low-Rank）モデルであれば単一のステップで表現可能ですが、KDA では単一ステップでは表現できない明確な反例となります。

対角ゲートにはもう一つの制約があります。それは"基底依存性"です。2 次元空間において、対角方向を保持し、その直交方向を忘却したい場合、理想的な射影は以下のようになります。

これは対角行列ではありません。対角ゲートでは座標軸に沿ってのみ刻度的に保持または忘却を行うことができるため、保持したい方向が座標系の中で斜めに存在する場合、単一のステップで対角ゲートだけでは対応できません。