Kimi K3 の詳細解説：Anthropic の企業価値に迫るモデルとは

「Kimi K3 の詳細：Anthropic の評価額に迫る強さを持つモデルとは？｜晩点ポッドキャスト」

原文：原创 晚点团队 2026-08-05 21:11 北京

重み（モデルパラメータ）は公開されたが、その重みを生成する「パイプライン」自体は非公開のままです。

インタビュー：程曼祺

編集：付自文（インターン生）

7 月 27 日、Kimi は K3 の完全なモデル重みと技術報告書を公開しました。これは総パラメータ数が約 3T に迫る、初のオープンウェイト（オープンソース）モデルです。具体的には、総パラメータ数 2.8T、アクティブパラメータ数 104B を備え、ネイティブなマルチモーダル処理と百万トークン単位のコンテキストウィンドウをサポートしています。

今週の『晩点聊 LateTalk』では、RadixArk の創設メンバーである趙晨陽氏と、ワシントン大学の博士課程に在籍する曾致远氏を迎え、推論能力とアルゴリズムの観点から K3 を徹底解説します。K3 は本当に Fable 5 に匹敵するのでしょうか？また、3T という巨大なモデル規模や「線形 - 全局混合アテンション（Linear-Global Hybrid Attention）」といった改良が何を意味するのか、そしてオープンソース企業にとって公開できない競争力とは何かについても議論しました。

さらに、K3 が米国の AI コミュニティおよび広範な投資市場でいかに大きな注目を集めたか、そして K3 を巡って巻き起こったオープンソースを巡る激しい議論についても掘り下げました。

趙晨陽氏は以前、『晩点聊』163 回目でインフラの観点から DeepSeek-V4 を解説しています。UCLA（カリフォルニア大学ロサンゼルス校）で博士号を取得する過程で、彼はオープンソース推論フレームワークコミュニティ「SGLang」の中核開発者の一人となりました。SGLang は、DeepSeek-V4、GLM-5.2、K3 といった中国発のオープンソースモデルに対して、いち早く対応を行いました。

曾致远氏は現在、ワシントン大学で博士 2 年生として大規模言語モデルの研究に従事しています。指導教員は Hannaneh Hajishirzi 教授と Pang Wei Koh 准教授です。

• 如果您在使用 Kimi K3、DeepSeek V4、GLM 5.2 等先进模型时存在推理需求，或对 SGLang 项目有反馈建议，欢迎联系赵晨阳（微信号：LoveDeathAndLLM）。

使用体感、开源之辨与 Transformer 的“忒修斯之船”

晚点：在深入探讨具体技术细节之前，我们习惯先聊一些宏观话题，帮助大家进入状态。两位可以先谈谈对 K3 的使用感受吗？

曾致远：K3 在大多数场景下的表现与 Claude Opus 4.8 相当，部分任务甚至更出色。特别是在 Agent 框架中持续执行复杂的长程任务时，它不易跑偏，最终交付的质量很高。不过，它的响应速度稍慢，对于期待即时反馈的用户来说体验不够友好；此外，面对复杂任务中的模糊信息时，它有时会直接替用户做决定，而我更倾向于先与用户探讨后再行动。

赵晨阳：K3 发布后，朋友圈里流传起一个用 K3 复刻的名为“K399”的小游戏合集，充满了儿时的味道。我们团队也用 K3 开发了一款仿 Chrome 离线恐龙跳仙人掌的游戏，主角换成了 SGLang Girl，终点则设定为我们当时达到的推理优化成果：单请求解码速度达到每秒 423 token。当然，现在这个数字又有了大幅提升。

晚点：大家普遍反馈 K3 的前端能力非常出色。K3 曾一度登顶 Frontend Code Arena（一个前端开发模型评测榜单，通过匿名的两两对比投票来评价模型生成的网页和应用），超过了 Claude Fable 5。一个模型在某项特定能力上表现突出，主要原因是什么？

曾致远：直接原因在于评测体系与训练数据。模型团队通常会为特定领域建立专门的评测标准，并在预训练、SFT（监督微调）和强化学习等阶段针对性地补充训练数据与任务。K3 在预训练阶段扩大了代码与渲染图像配对的多模态数据量，在后训练阶段又加入了网页开发任务。它还是一个原生多模态模型，正如技术报告中描述的“Vision-in-the-Loop”流程：能够训练模型编写代码、查看页面截图，再根据视觉反馈反复修改的链路。这些设计共同强化了它的前端能力。

晚点：您身边的人对 K3 还有哪些评价？

曾致远：最近开源技术报告的架构和预训练部分写得越来越清晰，但后训练的细节反而越来越少，K3 的报告也是如此。这既说明架构设计与规模化预训练的重要性并未下降；另一方面，不少人或许还是希望后训练阶段能披露更多信息。

K3 の発表後、米国のテック界ではオープンソースを巡る激しい議論が巻き起こりました。7 月 24 日、NVIDIA や Microsoft を含む 50 社以上（趙晨陽氏が所属する RadixArk もその一員）が共同で「Open Weight Models and American Leadership」と題した公開書簡を発表し、オープンソースモデルの早期制限を避けるよう呼びかけました。黄仁勲氏は X（旧 Twitter）での最初の投稿でこの書簡をリツイートしました。OpenAI も支持表明しましたが署名はせず、Amazon と Anthropic は完全に欠席しました。その後、Anthropic は「オープンソースモデル自体には反対しないが、大規模な蒸留（distillation）の制限と、高能力モデルに対する強制安全テストの実施」を主張しています。

なぜ K3 はこれほど強く、ほぼパニックに近い反応を引き起こしたのでしょうか？（注：本稿執筆時点では OpenAI と Amazon が署名リストに加わりましたが、Anthropic はまだ署名していません。）

趙晨陽氏：表面的にはオープンソース対クローズドソースの議論に見えますが、核心は「どちらのパターンがより安全か」という争点です。数日前に行われた OpenAI の新モデル評価では、隔離環境を突破し Hugging Face のサーバーに侵入して直接回答を取得しようとする事例が発生しました。これは、高能力なモデルが自発的にルールや環境の脆弱性を発見する傾向があることを示しています。もし悪意ある利用者がこれを利用すれば、深刻なサイバーセキュリティリスクをもたらす可能性があります。

最先端の知能を少数の機関に握らせておくべきか、それとも限定的な管理下でより多くの人々に開放すべきか。この問いに簡単な答えはありません。核不拡散メカニズムのような国際的なガバナンス枠組みが必要になるかもしれません。

晚点：御社の立場はオープンソースモデルを支持するものですか？

趙晨陽氏：多くの人は、限定的な管理下で最先端のモデルを継続的に共有することに賛成ですが、私はすべてのことを開放することには反対です。

晚点：K3 に代表されるようなオープンソースモデルがクローズドソースの最先端にさらに近づき、OpenAI や Anthropic などの最先端研究所の企業価値（バリュエーション）を脅かすという見方があります。米国業界でもこうした議論はありますか？

曾致远氏：確かに、企業がコーディングエージェントを使用する未来において、社内のデータをサードパーティのクローズドソースモデルに渡したくないというケースが考えられます。もしオープンウェイトモデル自体、あるいはそれを対象に微調整（fine-tuning）を施したものが要件を満たし、かつ企業がプライベートなデプロイ環境を整備できるのであれば、企業はオープンソースモデルへ移行する可能性があります。

晚点：実はすでにその動きが始まっています。Fireworks AI などの企業は、企業がオープンソースモデルをデプロイするのを支援しており、一部の大手顧客も自前で計算リソースを構築することを検討しています。特定のユースケースでは、クラウドサービスを利用するよりもコスト効果が高いためです。

もう一つの視点として、K3 は依然として Transformer アーキテクチャの路線に属しており、主流のアプローチとは異なる新しい AGI への道を探ろうとする研究所を脅かす可能性があります。これは、地道に Transformer を開発しているモデルにも大きな成長余地があることを示唆しているのでしょうか？

趙晨陽氏：この世に「地道に Transformer を作っている」という状態は存在しません。今回の K3 は、KDA 線形アテンションと MLA グローバルアテンションを混合して使用し、Attention Residuals で残差結合を改造し、FFN（フィードフォワードネットワーク）にはスパースなエキスパートを採用し、さらに明示的な位置エンコーディングをほぼ廃止しています。これらの構成要素はもはや 2017 年のオリジナルの Transformer のものではありません。

したがって、「Transformer にまだ余地がある」と言うよりも、アテンションが一種のインターフェースとなったと捉えるべきです。情報の混合方法や残差結合の方法、FFN の構造などは自由に再構築できます。これは「テセウスの船」に似ています。甲板も龙骨も次々と交換されますが、船名はそのまま残されています。

これは Transformer を一新しようとする研究者にとっては失望を招くかもしれませんが、新しいコンポーネントが迅速に主流モデルに取り入れられるという利点があります。KDA は Kimi Linear の論文で提案されてから K3 に採用されるまで、1 年にも満たない期間でした。技術的に有効であれば、新たなパラダイム全体が整うのを待つ必要はありません。

晚点：最近の議論では、Fable 5、Opus 5、そして K3 の進展により、モデルが生産された高品質データを使って次世代のモデルをさらに強化できるという見方が広まっています。この「自己改善」のラインは本当に越えられたのでしょうか？

このプロセスは、ゼロから一への劇的な飛躍ではなく、徐々に進行するものです。モデルの能力が向上するにつれ、エージェントはデータ生産の役割をより多く担えるようになります。具体的には、資料の検索、サンプルの合成と選別、強化学習環境の構築、評価の実行、そして失敗事例の分析などが挙げられます。

人間の役割も、「手順を一つずつ指示する」ことから、「上位目標・制約条件・验收基準（受け入れ基準）を定義する」方向へシフトします。特に OpenAI や Anthropic といった最先端研究所に所属する研究者は、最新モデルへのアクセス権を持ち、その閉じたループの質がさらに高まっていくでしょう。

趙晨陽氏：K3 の技術報告には具体的な事例があります。K3 の初期チェックポイント（訓練途中に保存されたパラメータの状態、つまり早期バージョンのモデル）ですでにカーネル開発に参加できるのです。これにより、その後の訓練プロセスも支えられます。

推論領域では、こうしたシステムを「KDA（Kernel Development Agent）」と呼びます。これは K3 が採用する注意力機構「Kimi Delta Attention」の略称でもあります。関連するタスクは、単一の演算子最適化から巨大な演算子の融合まで多岐にわたり、CUDA、Triton、ThunderKittens といった開発流派や、BF16、FP8、FP4 といった数値フォーマットを扱います。（注：CUDA、Triton、ThunderKittens はいずれも高性能 GPU 演算子を開発するためのツールまたはプログラミング手法です。BF16、FP8、FP4 はビット幅が順に小さくなる数値形式で、ビット幅が低いほど計算資源とメモリ使用量を節約できる傾向があります）

報酬設計には二層構造があります。まず、各カーネルに対して PyTorch（Meta がオープンソース化した深層学習フレームワーク）による基準バージョンを用意し、性能の下限として設定します。これにより正しさも検証可能です。もしモデルが生成したカーネルの数値誤差が閾値を超えれば、即座に零点です。さらに、専門家によって書かれた高性能なカーネルと比較し、ハードウェアの性能上限に近いほど高い報酬を与えます。

また、不正行為へのペナルティも設けています。具体的には、CUDA Graph（GPU 操作を事前に記録して繰り返し実行することでスケジューリング負荷を減らす技術）の悪意ある再利用や、入出力をキャッシュして「打表」するなどの行為です。結果として非常に良好な効果が得られました。私たちのチームにも、こうした取り組みを行うトップクラスのカーネルエンジニアがいます。

カーネル開発は、RSI（Recursive Self-Improvement：再帰的自己改善）を形成しやすい分野です。その理由は三つあります。

・報酬の算出が正確で安価であること

・性能と正しさを検証しやすいこと

・不正行為のパターンが限定的であること

したがって、明確な検証基準がある領域では、モデルはクリアな境界線の中で着実に能力を向上させています。ただし、これをもって「モデル全体の訓練が広義の自己進化を開始した」と断言するのはまだ早計です。

より広範な RSI の実現はまだ困難です。現在欠けているのは、単にモデルの能力だけでなく、評価（evaluation）と基盤（harness）も含まれます。2025 年に数学やプログラミングで目覚ましい進歩が見られた背景には、これらの分野が比較的評価しやすいという要因があります。しかし、プログラミングタスク自体は複雑化しており、かつては小規模な関数を書く程度だったものが、現在は大規模なコードベースでの新機能開発へと変化しています。こうしたタスクの評価は難しく、結果としてプログラミング分野の進歩速度も鈍化する可能性があります。

晩点：K3 は、これまで中国のモデルが追求してきた「極限のコストパフォーマンス」路線を継承していません。多くの人から「高価」「応答が遅い」と指摘され、多くのアプリケーション企業も K3 への迅速な導入を見送っています。この遅延は、計算資源の不足が主な原因でしょうか。

趙晨陽氏：新モデルが発表された直後は、サービングスタック（モデルをオンラインで推論し、外部にサービスを提供するために必要な一連のソフトウェアシステム）の最適化がまだ完了していないため、一時的に「高価かつ低速」という状態になります。しかし、K3 の現在の価格と速度は依然として妥当な範囲内にあると考えます。特に価格面では決して不利ではありません。

エージェントシナリオにおけるコスト計算には二つの口径があります。「100 万トークンあたりの単価」と「単一タスクを完了するまでの総コスト」です。複雑で長期的なタスクにおいては、後者の指標の方がより意味を持ちます。異なるモデルが同じタスクを完了する際に消費するトークン数は数倍に及ぶこともあります。安価なモデルであっても、迂回して処理を進めれば結果的に高コストになるケースも珍しくありません。

K3 技术报告显示，在 Kimi Code Bench 2.0（Kimi 内部用于评测 Coding Agent 完成端到端软件工程任务能力的基准）上，K3 的得分比 Claude Fable 5 低 4 分，但成本仅为后者的 38%；在 high effort 档位下，K3 已追平 Claude Opus 4.8 的 maximum effort 表现，成本约为其三分之一。此外，在 BrowseComp（用于评测模型通过浏览、检索和推理寻找复杂信息能力的基准）上，K3 的单任务成本也相对较低。因此仅从官方 API 来看，我认为 K3 的性价比很高；但若自行部署，则需将存储、电力和水冷等成本纳入考量，此时便难以简单比较了。（注：K3 官方 API 的价格为：缓存命中的输入每百万 token 0.3 美元，未命中为 3 美元，输出为 15 美元。相比之下，DeepSeek-V4-Pro 的对应价格分别约为 0.004 美元、0.44 美元和 0.87 美元）

关于速度问题，一方面，目前尚未有足够多的应用真正需要 K3 这种规模的智能；另一方面，模型发布初期的速度更多反映的是架构的新颖程度以及 serving stack 的适配难度，并不一定代表架构本身存在性能瓶颈。像 Kimi 这样的顶尖团队在设计时已充分考量了训练和推理效率，后续通常可通过工程优化进一步降低成本并缩短延迟。

推理体验通常由三个指标衡量：一是首 token 延迟，即发出请求后多久开始返回内容；二是 decode 速度，即开始回复后生成 token 的快慢；三是队列等待时间，因为后台可能同时处理大量请求。

首 token 延迟很大程度上取决于前缀复用能力，而不仅仅是算力。K3 报告举例称，一个典型的 Coding 请求可能包含 40 万 token 的已有前缀，而本轮新增内容仅 4000 token。一旦缓存命中，便无需重新计算前面的 40 万 token，因此成本和首 token 延迟都可能相差几个数量级。

但 K3 采用的 KDA–MLA 混合架构也让前缀复用变得更加复杂。传统的 KV Cache（键值缓存，用于保存 Attention 处理历史 token 时产生的中间结果，避免生成新 token 时重复计算）像一本只往后写的笔记本，已计算好的前缀不会改变；而 KDA 则维护固定大小的 recurrent state（循环状态），每处理一个 token 都会反复更新，如同不断擦写的白板，多个请求要共享它便更加困难。

对此，K3 的方案是将前缀的哈希粒度与物理块的分配粒度解耦，把前缀切分为较小的片段进行管理。SGLang 也借鉴设计了三种操作：需要修改时先复制一份，在关键位置保存状态，使用完毕后再将更新后的状态交回缓存继续复用。具体实现较为深入，感兴趣的朋友可以参考 SGLang 团队的技术博客。

晚点：就美国一些限制开源的讨论，从技术上看，已经开放的模型还有可能被限制吗？

赵晨阳：模型权重一旦发布，会被大量复制、建立镜像，还会被量化、微调，从而产生越来越多的衍生版本。因此，政策可以限制未来的发布和传播，但无法“下架”已经流出的模型。

晚点：随着开源模型逐渐逼近闭源模型，会不会有团队在模型足够强之后转向闭源？

赵晨阳：“开放模型逼近闭源模型”本身很难衡量，因为模型只是 AI 产业链的一部分，上游还有数据和硬件，下游还有推理和分发渠道。而且权重本身在产业链中的比重正在下降。

K3 の重み（モデルパラメータ）は公開されましたが、MoonEP（Kimi が超規模 MoE モデルの訓練のために開発した専門家並列システム）、FlashKDA（KDA 注意力 メカニズムの高パフォーマンス演算子実装）、AgentENV（AI Agent 向けの隔離実行環境）といったインフラストラクチャの一部も同時に公開されています。ただし、強化学習環境やタスク生成用の知識グラフシステム、そして専門家のチェックポイント統合前の状態は非公開のままです。

これは問題ありません。業界全体を見ても、強化学習環境を公開する企業はほとんどなく、そこにはセキュリティリスクが潜んでいる可能性があります。

これらの非公開部分は、同社の深い参入障壁（モート）となっています。世界中の誰もが K3 という世代の知能を手に入れることはできますが、次世代モデルを構築するための完全な生産ラインまで得られるわけではありません。

重みの公開は、この世代におけるオープンソースモデルとクローズドソースモデルの能力差を縮める効果がありますが、両者のイテレーション速度の差を埋める保証はありません。モデルの進化には、環境、検証プロセス、そして計算資源が必要であり、これらは単に重みを公開するだけでは賄いきれないからです。

晚点（Wan Dian）: 重みを公開することには別のデメリットもあります。ユーザーが自前でデプロイしてからは公式 API を利用しなくなるため、データが戻ってこなくなります。一方、OpenAI や Anthropic といったクローズドモデル企業は、API や自社アプリを通じて、大量の真のユーザーによる高品質なプロンプトを獲得できます。

曾致远（Zeng Zhiyuan）: アメリカの最先端研究所がコーディングエージェントを成功させている背景には、ユーザーデータによるフィードバックループ（フライングホイール効果）を確立しているという要因があります。計算資源に制約のある国内企業にとっては、重みを公開しない限り、限られた計算リソースだけで膨大な推論リクエストを捌くのは困難です。しかし、仮に重みが公開されたとしても、現在 3T モデルのデプロイが可能なのはごく一部の機関に限られています。

晚点: まとめると、K3 はどのような成果なのでしょうか？

曾致远: K3 は、初めて 3T クラスに到達したオープンウェイトモデルです。オープンソースモデルが数百 B から 1T を経て、今日この 3T のレベルに至ったことは、非常に鼓舞される進展です。

注目すべきは、アテンションメカニズムの改良です。線形アテンションがこれほど大規模なモデルで初めて採用されました。

晚点: K3 のアーキテクチャにおける全体像と最大の亮点は何ですか？

曾致远: K3 の基本方針は、情報シーケンス方向と深さ方向において、より効率的に情報を流動させることにあります。

シーケンス方向では、KDA（Kimi Delta Attention。Kimi が昨年秋に提案した線形アテンションメカニズム）と Gated MLA（ゲート付きマルチヘッド潜在アテンション。キーバリュー表現を圧縮することでキャッシュ量と推論コストを削減する手法）を組み合わせたハイブリッドアテンションを採用しています。大部分の層では低コストな KDA がコンテキスト処理を担当し、周期的にグローバルアテンションが加わります。

深さ方向（ネットワークの奥行き）では、Attention Residuals（アテンション残差。Kimi が今年春に提案した残差接続の改良手法）を採用し、後段の層が前段の層の表現を必要に応じて選択的に参照できるようにしています。

私が特に注目しているのは NoPE（明示的な位置エンコーディングを使用しない手法）です。同時期に登場した DeepSeek-V4、GLM-5.2、MiniMax M3 はまだ RoPE（回転位置エンコーディング）の一部を残していますが、K3 ではこれを排除しています。

もちろんモデルはトークンの順序を認識しています。KDA が再帰状態を更新する際、ゲートと減衰（decay）自体が順序に敏感に反応するため、位置情報や情報の新旧程度を暗黙的に符号化できるからです。

百万トークン単位のコンテキストを持つモデルを訓練する際は、通常はコンテキスト長を段階的に拡張します。K3 もまず 8K から 64K に拡大し、その後 256K、そして最終的に 1M まで拡張しました。NoPE の利点は、コンテキストを拡張する際に RoPE パラメータの再調整や補間処理が不要になる点です。

この設計は、Kimi Linear（Kimi が 2025 年 10 月に発表した混合線形アテンションアーキテクチャおよび実験モデル。総パラメータ数は 48B、アクティブパラメータ数は 3B で、KDA とグローバル MLA を 3:1 の比率で混合し、NoPE を採用して 100 万トークンのコンテキストをサポート）でもすでに実装済みでしたが、K3 の画期的な点は、これをほぼ 3T クラスのモデルに拡張し、かつ 100 万トークンコンテキストに対応させたことにあります。

「K3 も依然として MoE モデルですが、重要な課題は専門家（エキスパート）へのルーティングです。Kimi 側は、彼らが提案した『Quantile Balancing』が MoE の大規模訓練における不安定性を解決したと述べています。これが K3 を 3T パラメータ規模に近づける鍵の一つなのでしょうか？」

「本質的には、これはエキスパートの負荷均衡問題を解決するものです。MoE モデルでは、各トークンは一部のルーティング専門家のみを選択して活性化しますが、全体として見れば、各専門家が選ばれる頻度は概ね均等であるべきです。そうでなければ、十分なトークンや勾配を受け取れず訓練が不十分で、そのパラメータの容量を発揮できない専門家もあれば、逆に多くのトークンを処理しすぎてインフラに負荷をかける専門家も生まれてしまいます。」

「初期には一般的に、MoE の損失関数に追加の負荷均衡指標を組み込み、異なる専門家がより均等に選ばれるよう促す手法が採られていました。この方法は全体として有効ですが、モデルの品質と負荷均衡の間でトレードオフを迫られやすく、訓練不安定の原因にもなり得ます。」

「DeepSeek-V3 の重要な改良点は、主要な負荷均衡を『バイアス更新』方式に切り替えたことです。Router はまず各専門家にスコアを付け、そのスコアに追加のバイアスを加算した上で専門家を選択します。専門家が過熱（過剰使用）すればバイアスを下げ、冷や（未使用）なら上げるという仕組みです。このバイアスは専門家の選択に影響を与えるだけで、元の訓練目標は変更されません。ただし DeepSeek-V3 では、このバイアスに固定ステップ幅での更新を採用しています。つまり、各ステップで専門家が発熱しているか冷却されているかを判断し、一定の幅度で上下調整するだけのため、依然として『ステップ幅』というハイパーパラメータ（訓練開始前に研究者が設定し、モデルが自動学習しないパラメータ）の設定が必要でした。」

「一方、K3 の Quantile Balancing は、スコアの分布に基づいてバイアスの調整量を直接推定します。K3 では各トークンが 896 個のルーティング専門家から 16 個を選択するため、現在のバイアスを加算した後のスコアで第 17 位に位置する値を、『上位 16 位に入るためのボーダーライン』と見なすことができます。」

「ある特定の専門家が、バッチ内の各トークンのボーダーラインに対してどれだけ差があるかを観察します。バイアスが大きければ、越えられるボーダーラインの数も増えます。システムはこの情報に基づいて新しいバイアスを直接計算し、その専門家が約 16/896 のトークンに選ばれるように調整し、次の訓練ステップから適用します。これにより、固定の更新ステップ幅を設定する必要がなくなります。」

「K3 は約 1000 個のルーティング専門家を持ち、各トークンはその中からわずか 16 個だけを選択するため、スパース性は極めて高く、安定かつ迅速に負荷均衡を維持するのはより困難です。したがって、Quantile Balancing が K3 を 3T に近い規模へ安定的に拡張できる要因の一つであると推測されます。」

「つまり、DeepSeek-V3 の手法は専門家が過熱しているか冷却されているかを判断するだけで精度が粗く、K3 はさらにその程度を細かく判断するということですね？」

「DeepSeek のアプローチは段階的な調整に近く、K3 は過去の履歴情報に基づいて次のステップのバイアス量を推定します。両者にはそれぞれ長所と短所があり、最終的には実験結果次第です。」

「先ほど K3 が線形注意機構とグローバル注意機構を混合した方式を採用し、DeepSeek-V4 が全体的にスパースな注意機構の最適化路線を進んでいる点に触れられました。K3 が 3T 規模で線形注意機構を採用したのは非常に大胆な改良だと感じます。彼らは線形注意機構の欠点をどのようにバランスさせ、業界にどのような示唆を与えたのでしょうか？」

「この混合アーキテクチャは、すでに Kimi Linear で検証済みです。当時の総パラメータ数は 48B でしたが、K3 ではこれを約 3T に拡大し、規模を約 60 倍に引き上げました。構造上は、3 層の KDA（Kimi Dynamic Attention）と 1 層のグローバル MLA（Mixture of Local-Attention）を組み合わせた 3:1 の構成で、純粋な線形注意機構が持つ長距離検索の限界を、グローバル注意機構によって補完しています。」

Qwen3.5 此前约 400B 的规模采用了三层 Gated DeltaNet（添加门控衰减的线性注意力架构）搭配一层 Gated Attention 的 3:1 设计。相比之下，DeepSeek-V4 并未使用线性注意力，而是在 Softmax Attention（Transformer 中常用的标准注意力机制）框架内，通过 KV 压缩和稀疏注意力的组合来提高长上下文效率。

K3 带来的启发在于，不同的注意力机制可以承担不同功能，不必将全局注意力和线性注意力视为非此即彼的选择。K3 证明了这种混合架构可以扩展到接近 3T 参数规模的前沿模型中。

晚点：这个 3:1 的比例是如何决定的？去年我曾与 DeltaNet 的核心作者之一杨松琳聊过线性注意力，当时她提到这种混合主要依靠经验和实验。如今业界是否有更多方法论上的指导？

曾致远：从公开资料来看，比例仍然主要通过实验决定。Kimi Linear 先在一个 16 层的小模型上比较了不同配比。实验结果显示，3:1 的 Perplexity（困惑度，用于衡量语言模型预测下一个 token 的能力）效果最佳；1:1 的验证效果几乎相同，但全局注意力占比更多，导致资源占用和推理成本更高。因此，3:1 在效果和效率之间取得了更好的平衡。

K3 基本沿用了这一比例，并在最后额外加入一层 Gated MLA，确保模型最后一层的注意力是全局注意力。

不过技术报告并未提及 Kimi 是否在更大规模上重新测试了所有比例，因为此类实验成本极高。模型团队通常先在小模型上完成消融实验（逐一移除或替换某个模块，比较模型效果，从而判断该设计是否有效）和架构搜索，再通过 Scaling Law 验证整套架构和训练方案能否稳定放大。因此，3:1 不一定是 3T 规模下绝对最优的比例，但它已被证明可行。

晚点：K3 支持百万 token 上下文。线性注意力通常容易遗忘较早的信息，K3 是如何解决这一问题的？

曾致远：这是线性注意力的取舍之一。它将任意长度的信息压缩进固定大小的 recurrent state（循环状态），使得缓存和每一步的计算量不会随上下文长度持续增长；代价是不同信息会在有限的状态中互相干扰，较早、较细节的信息可能被覆盖，根源在于固定状态存在容量瓶颈。

KDA 采用了一些方法来更好地管理这部分有限记忆。例如 Delta Rule：先判断当前记忆已能预测出什么，只将预测的偏差写入；Channel-wise Forget Gate（通道级遗忘门），让不同通道学习不同的信息保留时间。K3 还为 retention factor（保留系数）设置了下限，避免模型一次遗忘得过于激进。但这些设计只是更有效地管理有限记忆，无法从根本上消除容量瓶颈。经过很多步之后，信息仍然会衰减。

K3 真正缓解百万上下文遗忘问题的关键，在于混合注意力架构：每三层 KDA 加入一层 Gated MLA，模型最后一层也使用 MLA。MLA 可以直接关注所有历史 token，提供全局信息交互，因此不需要 KDA 将百万 token 的每个细节都保存在固定状态里。

晚点：MiniMax-M1 此前也曾采用过类似的混合注意力，后来 M2 又换回了全局注意力。技术思路相似，最终效果却大相径庭。

曾致远：一条技术路线本身合理，并不代表具体模型一定能做好。数据、基础设施和大量执行细节的差异，往往会导致最终效果的巨大不同。

「注意力構造の変化は、インフラストラクチャの変革も招きます。」

前回の DeepSeek-V4 の注意力メカニズムに関する議論で、趙晨陽氏は線形注意力の理論的優位性が数世代先の大規模モデルによって検証される必要があると指摘していました。では、K3 はすでにその検証を完了したのでしょうか？この新しい構造がインフラにどのような影響を与えるのか。

趙：まさに今、私の見解を更新する絶好の機会です。

第一に、K3 が線形注意力の道筋に対する有効な検証であることは疑いようがありません。これは 2.8T パラメータを備え、百万トークンのコンテキストをサポートするメインストリームのモデルで、NoPE（位置エンコーディングなし）を採用しています。K3 の MLA レイヤーも明示的な位置エンコーディングを使用せず、位置情報は KDA の再帰状態更新、ゲート、減衰メカニズムによって提供されます。そのため、コンテキストを百万トークンに拡張する際にも、RoPE（回転位置エンコーディング）の周波数や基底値を再調整する必要はなく、YaRN（RoPE のコンテキスト長を拡張する手法）による補間や外挿も不要です。この設計は非常に自然な形で拡張され、最終的な効果も極めて良好です。

第二に、私が以前「疎な注意力は工学的に実装しやすい」と判断した点についても、それは間違いではありませんでした。SGLang チームは多大な労力を費やし、線形注意力で必要な再帰状態を既存のプレフィックスキャッシュシステムに取り込みました。これにより、KDA と MLA を組み合わせた K3 型のモデルでもプレフィックスの再利用が可能になりました。長期的にはこれらの互換性問題は工学的に解決可能ですが、その代償として推論フレームワークはより複雑化します。

先ほど触れた通り、線形注意力と疎な注意力は単純な二項対立ではありません。K3 は、このように混合したアーキテクチャのモデルも強力であることを証明しました。百万トークンというコンテキスト下で、KV Cache の転送コストや Prefill（前処理）、ルーティングなどのコストを抑制できるのは、おそらく異種混在型（heterogeneous）のアーキテクチャでしょう。SGLang にとってこれは、推論フレームワークが複数の形態と異なるライフサイクルを持つ注意機構を同時に管理しなければならないことを意味し、エンジニアリング的な抽象化には大きな挑戦となります。

「アーキテクチャが複雑になれば解決すべき工学的課題も増え、その分、你们（你們）の取り組みの価値も高まるはずです。」

趙：そうであってほしいですね。

「KDA は線形注意力とグローバル注意力を混合しており、理論上は効率向上が期待されます。Kimi 公式の見解では、百万トークンのコンテキスト下でデコード速度が 6.3 倍になるとのことですが、この数字をどう解釈すべきでしょうか？」

趙：簡単に言えば、モデル規模が同じでコンテキストが 100 万トークンに達した場合、線形注意力を主体とした混合アーキテクチャの生成トークン速度は、全注意力アーキテクチャの 6.3 倍になります。これは驚異的な数字です。

デコード段階では、モデルはトークンを生成するたびに過去の履歴を読み取る必要があります。全注意力モデルは KV Cache の全体を読み込む必要があり、KV Cache はコンテキスト長に比例して線形に増大します。100 万トークンの KV Cache は、1 万トークン時の約 100 倍の規模になります。

一方、線形注意力は過去の履歴を固定サイズの再帰状態に圧縮します。コンテキストが 1 万トークンでも 100 万トークンでも、そのサイズはほぼ一定です。

SGLang による K3 の適応事例を見ると、K3 は 69 レイヤーの KDA と 24 レイヤーの MLA で構成されています。69 レイヤーの KDA は各リクエストに対して約 54 MB の固定された履歴状態を保存し、24 レイヤーの MLA はトークンごとに追加で約 27 KB を割り当てます。百万トークンのコンテキストでは、MLA 部分だけで約 27 GB が必要になります。

つまり、K3 のキャッシュオーバーヘッドは固定の 54 MB に、コンテキスト長に応じて増大する 27 GB が加算されたものとなります。もし前方の 69 レイヤーすべてが全注意力であった場合、さらに数十 GB の追加が必要になるでしょう。ストレージ使用量が削減されれば KV Cache の転送コストも下がり、結果としてデコード速度の向上につながります。

この優位性は、長文コンテキストを必要とするコーディングエージェントのシナリオにおいて最も顕著に現れます。各リクエストが数百 GB の KV Cache を占有する場合、HBM（高帯域幅メモリ）のような大容量のメモリであっても、同時に数十のリクエストを受け付けるのは極めて困難です。

「晩点」：KDA のほか、K3 が新たに採用した設計の一つが Attention Residuals（AttnRes、注意力残差）です。この技術は今年春に発表され、イーロン・マスクからも高評価を得ました。当時は K3 の仕様もほぼ固まりつつあり、チーム内では「そのまま K3 に採用するか、次世代モデルで試すか」で議論が交わされました。最終的に楊植麟氏が直接 K3 へ組み込むことを決断しました。技術の発表からメインモデルへの実装まで、そのスピードは驚異的でした。

この手法は、DeepSeek-V4 が採用している mHC（流形制約超接続）と似た目的を持っています。どちらも残差接続の改善を目指したアプローチです。

「曾致远」：Attention Residuals は、モデルを深くする際に情報がどのように流れるかを解決するための技術です。

標準的な残差接続を展開すると、現在の層は初期埋め込みベクトルとそれまでの全層の出力を単純に足し合わせたものになります。つまり、各項の重みは常に 1 に固定されています。モデルが深くなるにつれて「Residual Stream（残差情報流）」の規模は拡大し、新しい層で書き込まれる情報が希釈されてしまうリスクがあります。また、後方の層から前方の層の表現を能動的に選択することもできません。

Attention Residuals の考え方は、通常の Attention メカニズムを 90 度回転させたようなものです。通常の Attention はトークン間での情報選択を行いますが、Attention Residuals は「層」間での情報選択を行います。各層には学習可能な pseudo-query（擬似クエリベクトル）が用意されており、これが現在のトークンを異なる深さで表現したものと照合されます。その後、Softmax によって正規化された確率重みに基づき、どの層から情報を参照するかを決定します。

この pseudo-query は全トークンで共有されていますが、各トークンの層ごとの表現は異なります。そのため、最終的なアテンション重みはトークンの内容に応じて変化します。つまり、各層は現在のコンテンツに応じて、過去の異なる層からの情報を選択的に読み取ることが可能になるのです。

「晩点」：DeepSeek-V4 の mHC もまた、情報の多方向への流動効率を高めることを目指しています。どちらのアプローチに将来性があるのでしょうか？

「曾致远」：mHC は複数の並列する Residual Stream を維持します。各層ではまずこれらの情報流を動的に混合して入力とし、その出力を再び異なる情報流へ分配します。さらに、モデルが深くなることで情報がや勾配が無限に増幅されるのを防ぐため、混合プロセス自体にも制約を設けています。

一方、Attention Residuals は各層に対して「歴史の目録」を提供するようなものです。これにより、各層は過去の特定の段階で生成された情報を直接見つけ出し、選択的に読み取ることができます。

理論的な表現能力だけで比較すれば、Attention Residuals の上限の方が高い可能性があります。mHC は依然として历史信息を固定数の Residual Stream へ再帰的に圧縮する必要がありますが、Full Attention Residuals では各トークンがより浅い層の出力すべてに直接アクセスできます。例えるなら、mHC は RNN（循環型ニューラルネットワーク）や線形アテンションのように、限られた状態を介して情報を逐次伝達する仕組みです。一方、Full Attention Residuals は Transformer のように、層を超えて直接情報を参照できる構造と言えます。

ただし、実際の効果は具体的な実装次第です。K3 で採用されているのは、すべての層同士を直結させる Full Attention Residuals ではなく、「Block Attention Residuals」です。これはまずモデルの層を複数のブロックに分割し、各ブロック内で情報を集約した上で、異なるブロック間でのみアテンション計算を行う方式です。

「晩点」：つまり、層と層の間でスパースなアテンションを行っているようなものですね？

「曾致远」：はい。これにより、すべての履歴表現を保持することに伴う VRAM（ビデオメモリ）や通信コストの削減が可能です。現時点では、K3 と DeepSeek-V4 がそれぞれ独立して証明した通り、この 2 つのアプローチはともに最先端モデルの規模へ拡張可能であることが確認されています。

MuonClip から Per-Head Muon へ：Kimi は最適化器をさらに改良しました

「晚点」：DeepSeek-V4 と同様、K3 も Muon オプティマイザーを採用しています。Kimi は以前 K2 で「MuonClip」を提案し、大規模モデル訓練における Muon の安定利用を推進しました。今回はさらに「Per-Head Muon」を導入しています。なぜオプティマイザーは重要なのでしょうか？また、K2 で採用された MuonClip と比較して、Per-Head Muon にはどのような具体的な改良が加えられているのでしょうか。

曾致远：モデルがバッチ単位で勾配を計算した後、オプティマイザーはその勾配を安定かつ効果的なパラメータ更新に変換します。具体的には、損失関数が「何を最適化すべきか」を決定し、勾配が「局所的にどの方向に進むべきか」を示唆します。オプティマイザーはさらに、最終的にどの方向へ進むか、どれほどのステップ幅で進むかを決定し、過去の勾配を活用してノイズを低減させます。また、異なる方向間のスケール差や競合も処理します。優れたオプティマイザーを使えば、同じ計算量でも収束が速くなり、最終的な損失値はより低くなります。さらに訓練中の不安定さや loss spike（損失の急上昇）も抑制できます。

Muon の核心は、現在の勾配と過去の勾配からモメンタム（動量）を計算し、それを近似正交化してからパラメータ更新に用いる点にあります。これにより、更新が一部の支配的な方向に偏るのを防ぎます。

多头注意力（マルチヘッドアテンション）では、注意情報は大型の投影行列として保存されていますが、各ヘッドは計算論理的には比較的独立しています。通常の Muon はすべてのヘッドをまとめて正交化するため、異なるヘッド間の勾配やモメンタムが互いに干渉する可能性があります。スケールの大きなヘッドが行列全体の更新を支配し、小さなヘッドが十分に最適化されないという問題が生じます。

そこで Per-Head Muon の核心は、各アテンションヘッドごとに個別に正交化を行う点にあります。これにより、異なるヘッドの更新スケールがより均衡します。K3 の技術レポートでは、これが異なるアテンションヘッド間の訓練ダイナミクスをバランスさせ、大規模訓練の安定性を改善できるとしています。

「晚点」：Kimi が MuonClip を提案した際、業界で多くの応用が見られました。それと比較して、Per-Head Muon の実装難易度はどうでしょうか？今後、より多くのチームに採用される可能性はあるのでしょうか。

曾致远：アルゴリズム的には Per-Head Muon は非常にシンプルです。行列をアテンションヘッドごとに再分割し、これらの小行列を並列処理するだけです。

大きな課題は、大規模訓練におけるシステム設計にあります。Q（クエリ）、K（キー）、V（バリュー）——これらはアテンション機構における情報関連性を Q と K で計算し、その結果に基づいて V から情報を参照する要素です——通常は融合・分割処理が行われます。また、オプティマイザーの状態（訓練中に追加で保存されるデータ）も分散した GPU Rank（分散訓練における GPU 1 台または計算プロセスの識別番号）上に格納されます。システムは、各アテンションヘッドの論理的境界が崩れないように保ちつつ、効率的に完全な head block を再構築し、多数の小行列を統合して計算する必要があります。これにより、通信コストの増大や頻繁な kernel launch（CPU または GPU 実行時環境から GPU へカーネル実行タスクを投げる処理）を防ぎます。

K3 ではこのために専用のエンジニアリング対応が施されています。例えば、データ通信と正交化計算をパイプラインとして構成しています。

「晚点」：Muon はもともと、個人開発者の Keller Jordan が立ち上げたオープンプロジェクト「nanoGPT Speedrun」で誕生しました。これは、統一された小規模モデルの標準タスクにおいて、誰が最短時間で訓練を完了できるかを競うものです。最近では、RSI（Recursive Superintelligence）——AI の自動化研究と再帰的自己改善を研究する企業——も、自動化研究システムを用いて nanoGPT Speedrun に挑戦し、過去 2 年以上にわたるコミュニティ研究者の努力を上回る最速記録を達成しました。今後、オプティマイザー自体を AI が改良したり、あるいは創造したりすることは可能なのでしょうか。

曾致远：すでにコミュニティではいくつかの初期試みがなされています。オプティマイザーの研究プロセスは概ね以下の通りです。まず案を提案し、コードを実装し、実験を実行します。その後、損失値や安定性の曲線を確認し、その結果に基づいてさらに改善を加えます。これらの目標と評価指標は非常に明確であるため、こうした作業の多くを AI Agent に任せることが可能になりつつあります。

ある最適化アルゴリズムが小規模な実験で優れた結果を示しても、大規模モデルや長期間の学習、あるいは異なるパラメータ構成において依然として有効であるとは限りません。したがって、もう一つの重要な課題は、エージェントがどのようにして小規模な実験とスケールアップのための段階的アプローチを設計するかを研究し、得られた結論が大規模訓練にも確実に適用できるようにすることです。これにより、リソースを節約しながら迅速に検証が可能となり、全体のイテレーションサイクルを加速できます。

晩点：その方向性が実現できれば、最適化アルゴリズムの改良以外にも多くのモジュールに応用できるでしょうね。

曾致远：はい、まさに AI に小さな実験環境を設計させ、結果の汎用性（転移可能性）を高めることです。モデルアーキテクチャの改善や強化学習アルゴリズムの調整など、核心となる課題はすべて「小規模な実験でいかに大規模訓練の結果を正確に予測するか」にあります。

晩点：現在、業界ではどのチームがこの能力をすでに獲得しつつあるのでしょうか？

曾致远：多くのチームが取り組んでいますが、全体として優れた成果を出しているチームもあれば、特定の分野で特に強いチームもあります。米国の最先端研究所、例えば OpenAI や Anthropic です。彼らはリソースに余裕があるだけでなく、小規模検証のプロセスとインフラストラクチャがより成熟しています。

晩点：多くの人は、米国最先端研究所の計算資源は中国企業よりも 1〜2 オーダー多いため、計算利用率を細かく高める必要性は低いと考えているようです。一方、計算資源に制約のある中国チームこそ、前期実験を慎重に設計し、あらゆる工学的な最適化を探求するのではないか、という見方があります。この観察は正しいのでしょうか？

曾致远：一理あります。例えば DeepSeek の多くの工程最適化は非常に極限まで追求されています。しかし、米国最先端研究所の最適化能力を見くびってはいけません。彼らにも深い蓄積があります。

晩点：Anthropic はモデルアーキテクチャに複雑な変更を加えるよりも、データとインフラストラクチャに多くの精力を注いでいるという説もありますね。

曾致远：確かにそのような印象を持たれています。彼らは基礎的な手法を確実に確立し、その上で規模を拡大していくことに信頼を置いているようです。

後処理：9 つの専門家モデルを蒸留して統合

晩点：Kimi の今回の技術報告では、後処理の設計として「まず 9 つの専門家モデルを訓練し、その後 MOPD（多教師オンライン蒸留）を用いて統一モデルに統合する」というアプローチが採用されています。なぜこのような「分けてからまとめる」アプローチが取られたのでしょうか？

曾致远：MOPD、つまり Multi-Teacher On-Policy Distillation は、最近では一般的な後処理手法の一つとなっています。同様のアプローチを採用した公開モデルには、MiMo-V2-Flash、DeepSeek-V4、NVIDIA Nemotron 3 Ultra（英伟达推出的 Nemotron 3 系列旗舰开源 MoE 架构模型，总参数量约 550B，每次推理激活约 55B 参数）、そして K3 が含まれます。この手法の主な利点は、異なる分野の研究開発プロセスを分離できる点です。これにより、大規模モデルチーム内の複数の小チームが並列して作業することが可能になります。

汎用的推論、コーディングエージェント、汎用エージェントは単にデータが異なるだけでなく、訓練環境や報酬戦略、Rollout 長さ（強化学習训练中，模型一次生成并与环境交互的轨迹长度）、評価ハーネス、強化学習アルゴリズム、インフラストラクチャも異なります。これらすべてを一度の共同強化学習にまとめると、異なる分野や報酬、訓練設定が相互に絡み合ってしまうことになります。各手法がそれぞれのチーム内では有効であっても、統合する際にはどうやって共同訓練を行うかという課題があり、技術的・調整的な負担は非常に大きくなります。

MOPD では、各チームが自分の専門領域で最も効果の高い専門家モデルを訓練すればよく、最後に一括して蒸留を行います。これにより各チームは独立してイテレーションを進められ、最終的な統合もシンプルになります。

晩点：Attention Residuals のようなアーキテクチャの革新は通常、個別に論文として発表されますが、MOPD などの手法はなぜか単独の論文にはならないことが多いようです。この違いは何でしょうか？

曾致远：一つの研究が独立した論文として成立するかどうかの重要な条件の一つは、それを明確な研究課題として定義できるかどうかです。

Attention Residuals は各種指標が比較的明確に定義されています。一方、MOPD は複雑な共同訓練パスを回避するアプローチであり、その価値は主に異なる分野間の結合度を減らす点にあります。別の手法を完全に実装して、それを明確に対照させるという形ではありません。

晩点：もしある手法が公開されなければ、最初に提案した人のキャリア上の評価（クレジット）は下がるのでしょうか？

曾致远：米国の最先端ラボ間では情報の伝播が非常に速く、優れたアイデアの発案者が誰かという情報は、公開論文の有無にかかわらず、業界内の狭いコミュニティではすぐに共有されます。そのため、外部には知られていない場合でも、発案者に対する業界内での評価は損なわれることはありません。

晚点：通常、事前学習は多様なデータタイプを混合して行われますが、後処理（ポストトレーニング）ではタスクの複雑化に伴い、「一旦分割してから統合する」という傾向が見られます。長期的に見て、MOPD と共同強化学習（Joint Reinforcement Learning）では、どちらに高いポテンシャルがあるとお考えですか？

曾致远：現時点では、MOPD が直接行う共同強化学習よりも効果的であるという研究結果も存在しますが、これらの結論は実験設定に強く依存しており、すべてのモデルや規模に一般化できるとは限りません。現在 MOPD を採用している主な理由は、実装の容易さにあります。

晚点：MOPD における「D」は Distillation（蒸留）を指します。業界内ではこのテーマに関する議論が活発ですが、モデル蒸留とは本来どのような概念なのでしょうか？

曾致远：最も基本的な定義として、蒸留とは教師モデルの能力を学生モデルへ伝達するプロセスです。最も古典的な用途はモデル圧縮で、まず能力が高く規模も大きい教師モデルを訓練し、その能力をより小さくコストのかからない学生モデルへと移します。

MOPD の目的はモデル圧縮ではなく、能力の統合です。K3 では、同じ基礎モデルから出発して、異なる領域や推論強度に対応する複数の教師モデルを個別に訓練し、それらの専門家の能力を一つの統一された学生モデルへ戻します。

具体的なアルゴリズムでは、まず学生モデルが独自に軌道（トジェクト）を生成し、関連分野の教師モデルが生成した軌道を評価して稠密な報酬信号を提供します。この報酬信号を用いて学生モデルを向上させます。

より伝統的な蒸留手法では、教師モデルが事前に固定された回答セットを生成しておき、学生モデルはそのオフラインデータ上で教師の出力を模倣します。

晚点：MOPD は On-Policy Distillation ですが、私たちが普段使っている文脈での「蒸留」はむしろ Off-Policy Distillation に近い印象です。この二つの違いは何でしょうか？

曾致远：Policy（方策）とは、現在訓練中の学生モデルを指します。On-policy では、学生モデルが現在の戦略に従って自ら軌道を生成します。一方、Off-policy で使用される軌道は、学生モデル自身が生成したものではなく、例えば教師モデルが事前に生成して固定された回答などです。

晚点：どちらの方が学習効率が高いのでしょうか？

曾致远：状況によって結果は異なります。複数の専門家の能力を統合する際には、On-Policy Distillation の方が一般的に適しています。ただし、この手法では教師モデルから各トークンの確率判断を得る必要があります。もし教師モデルの出力として得られるのが回答のみである場合、Off-Policy Distillation を行うしかありません。

晚点：Anthropic が自社のモデルを自ら蒸留すれば、モデルをさらに強化し、「左脚で右脚を蹴って空に飛び上がる」ような飛躍的な進化を実現できるのでしょうか？

曾致远：これは現時点ではまだ愿景（ビジョン）の域を出ません。蒸留は主にモデル間での能力移転や統合を目的としており、信頼できる外部監督なしに持続的に新しい能力を生み出すことは困難です。モデルを安定的に向上させるには蒸留アルゴリズムを採用することもありますが、鍵となるのはスケーラブルな外部監督信号を獲得できるかどうかです。

Infra における課題と変化：もう一つの KDA もまた偉大なり

晚点：推論の観点から、K3 のインフラ改善における全体像はどのようなものですか？你们も K3 の適応を最速で行いましたが、その過程で興味深い発見はありましたか？

赵晨阳：投機サンプリング（Speculative Sampling）を通じて、KDA アーキテクチャがもたらす課題について説明しましょう。投機サンプリングではまず、小型モデルを用いて一連のトークンを高速に推測し、実際のサンプリング対象となる目標モデルでそれらを一度に検証します。検証後、受け入れられるのは先頭の数トークンに限られるため、目標モデルは誤った推測があった場合にロールバックできるよう、検証前の状態を保持しておく必要があります。

通常の全注意機構（Full Attention）モデルであればこれは容易です。しかし KDA は各トークンの逐次的な状態をインプレースで書き換える方式です。一連のトークンを検証すると状態が前方へ進んでしまうため、末尾の内容を単に削除して元に戻すことはできません。もしステップごとの完全な状態スナップショットを作成すれば、69 層ある KDA の場合、ストレージとデータ転送のコストが膨大になってしまいます。

私たちのアプローチは、完全な状態を保存するのではなく、各ステップの状態の極小投影（約 1KB）のみを保持することです。ロールバックが必要な場合は、検証前の状態から出発し、これらの入力を用いて受け入れられたトークンを再生成することで、正しい状態を再構築します。

これは将棋の棋譜を記録するようなものです。盤面全体を毎回撮影する必要はなく、各手番の動きを記録するだけで、後で振り返りや分析が可能です。後に公開された K3 の技術レポートでも、同様の設計が独立して採用されました。双方はこの点について事前に議論していませんでしたが、トップクラスのエンジニアリングチームが同じ課題に直面した際、類似の解決策に至るのは自然な流れです。

晩点: 今回の K3 では、大規模なエージェント強化学習向けのオープンソース環境プラットフォーム「AgentENV」も公開されました。前述の通り、モデルの重みは一度の訓練で得られる産物に過ぎませんが、環境は次世代の重みを生成するために繰り返し利用可能であり、より重要な参入障壁（モート）と言えます。どのような興味深いアイデアが見えてきましたか？

趙晨陽: AgentENV の特徴の一つは、安全性のためにモデルの能力を極力制限するのではなく、より優れた隔離手法によって、モデルの能力範囲を広げている点です。彼らは将来、モデルがより高いシステム権限を得ることを想定しているのでしょう。

エージェントが強くなるほど、探索行動はより攻撃的になります。初期段階ではコンテナ（ホストシステムから隔離された実行環境）を用いたサンドボックスを採用していましたが、カーネルクラッシュやメモリのデッドロックが発生しやすかったのです。K3 チームは通常のコンテナに頼り続けるのではなく、Firecracker（Amazon Web Services が開発した軽量な仮想化技術）を使用して、より高いレベルの隔離を実現するマイクロ VM を実行しています。

要約すると、モデルにはより高いシステム権限を与えつつ、より信頼性の高い技術的な隔離を提供しているのです。仮に 1 つのエージェントが自身のサンドボックスを破綻させても、他のサンドボックスへの影響はありません。

晩点: 隔離以外にも、AgentENV はどのような課題を解決したのでしょうか？

趙晨陽: 2 つ目の重点は、永続的な Rollout とサンドボックス状態の管理です。これにより、エージェントの長尾問題（rare but critical issues）に対処しています。

1 つのエージェントの軌跡には、数千回のツール呼び出しが含まれ、累積すると数百万トークンに達することもあります。仮に 16 件のリクエストをバッチ処理する場合でも、そのうち数件が非常に遅いケースがあります。例えば、ある外卖（フードデリバリー）API の応答に 1 分かかる場合、その長尾なリクエストによって、全体のバッチ処理がブロックされてしまいます。

Kimi は K1.5 の論文で「Partial Rollout」の概念を既に提案していました。これは、すべての軌跡が完了するのを待たずに、一定割合の軌跡が終了した時点で、完成した部分のみを用いて訓練を開始するという手法です。未完成の軌跡は一時停止して保存され、次のラウンドで継続実行されます。これにより、サンプリング全体のスピードを大幅に向上させることができます。

システムレベルでは、モデルと環境の履歴状態も可能な限り保持する必要があります。例えば、前回のサンプリング時の KV Cache を保存しておけば、次回サンプリング時に長い Prefill 処理を再実行する必要がなくなります。

しかし、これには強化学習側のデータ陳腐化という課題が生じます。1 つの軌跡の前半部分は旧バージョンのチェックポイントで生成され、後半部分は新バージョンで生成されるため、厳密な On-policy データではなくなってしまいます。

K3 では、トークンごとの制約（regularization）を用いて、各戦略更新を局所的な範囲内に収めることで、一定のデータ陳腐化を許容しています。言い換えれば、アルゴリズム上の柔軟性を犠牲にして、インフラストラクチャ側の自由度を得ているのです。

晩点: K3 ではさらに、強化学習環境とモデルが推論時に実際に動作する環境を可能な限り一致させることを強調しています。これはどのように実現されているのでしょうか？

趙晨陽: 彼らは Agent Harness を、ツールインターフェース、システムプロンプト、コンテキスト管理戦略、スキル、メモリ、その他のコンポーネントなど、構成可能で組み合わせ可能なモジュール群に分解しました。そして、これらを異なる組み合わせで構成することで、主要なエージェント実行フレームワークをシミュレートしています。

これにより、モデルが訓練時に特定の Harness に過度に適応してしまうのを防ぎます。例えば、モデルが美团（Meituan）での注文業務のみで訓練された場合、饿了么（Ele.me）に切り替えた際にうまく機能しないといった事態を防げます。複数の Harness 組み合わせの中で訓練を行うことで、異なるツールやインターフェース、ワークフローに対する汎化能力を高めることができます。

晩点: つまり、モデルの訓練が完了した後であれば、上位レイヤーでどの Harness を使用しても、ある程度は適切に適合できるということでしょうか？

趙晨陽: 理論上はそうなります。ただし、実際の効果には完璧さはありません。エージェントの利用がさらに広がっていくにつれて、Harness の汎化能力に対する要求もますます高まっていくことになるでしょう。

閉鎖型モデルにも同様のニーズがあるのでしょうか。例えば Anthropic や OpenAI のモデルは、主に自社で構築した Harness（ハーン）上で動作しています。

趙晨陽氏：もちろん必要です。Claude Code といった閉鎖型プラットフォームであっても、Slack、Gmail、カレンダーなど異なるコンポーネントと連携する可能性があります。これらは本質的に異なるモジュールや実行環境を意味します。

Anthropic の場合、課題は「美团（メイトゥアン）から饿了么（エラオメ）へ」というような単純な切り替えではなく、「Gmail から Outlook へ」の移行です。人間にとっては操作ロジックは似ていますが、モデルが特定のインターフェースに過学習しないよう、意図的な設計が行われていなければなりません。

晚点：AgentENV のほか、K3 では FlashKDA や QAT（Quantization-Aware Training：量子化感知訓練）といったインフラ面の改善も実施されています。これらの設計はそれぞれどのような変化をもたらしたのでしょうか。

趙晨陽氏：まず FlashKDA について見てみましょう。Softmax Attention のカーネルは、主に VRAM（ビデオメモリ）の帯域幅との競合に直面しています。