Kimi K3 と Qwen 3.8 の Attention 機構比較分析

記事の3ポイント

1. 1

   Attention 進化の背景とコスト計算

   10T 規模モデルの訓練には国内算力のみで約 20 万枚の GPU と数百億円の建設費が必要となり、このコスト構造が Linear や Sparse への移行を迫る主要因となっている。

2. 2

   Linear Attention の数学的限界

   Softmax を線形化する過程で生じる状態管理の衝突や不可逆的な忘却、そして有限特徴空間における零空間碰撞などの根本的な欠陥が指摘されている。

3. 3

   Sparse Attention の実装リスク

   計算コストを削減するために支持集を制限する Sparse 手法は、高品質なトークンを見逃すリスクがあり、さらに非規則的なメモリアクセスが FLOPs の効率性を損なう可能性がある。