Moonshot AI が世界初のオープン 2.8T モデル「Kimi K3」を発表

Moonshot AI が「Kimi K3」を公開しました。これは、ネイティブの視覚機能と 100 万トークンという超長文コンテキストウィンドウを備えた、パラメータ数 2.8 兆のモデルです。Moonshot はこれを「世界初のオープンな 3 兆クラスモデル」と位置づけています。

Kimi K3 とは何か？

Kimi K3 は、「Kimi Delta Attention（KDA）」と「Attention Residuals（AttnRes）」という 2 つのアーキテクチャ上の改良を基盤とした、スパースな Mixture-of-Experts（MoE）モデルです。これらは、シーケンス長やモデル深度にわたる情報の流れ方そのものを変革するものです。K3 は、長期にわたるコーディングタスク、知識作業、そして推論能力の向上を目的として設計されています。

Moonshot チームは、K3 が「2.8 兆パラメータ規模に到達した初のオープンモデル」であると明言しています。過去 12 ヶ月のうち 9 ヶ月で Kimi シリーズがオープンモデルのサイズ上限を更新し続けてきた実績があります。

また、Moonshot は K3 の立ち位置についても率直です。現時点では、Claude Fable 5 や GPT 5.6 Sol といった最強クラスの独自開発モデルにはまだ性能面で劣ります。ただし、Moonshot 自身が行った評価スイートでは、K3 は他社製の競合モデルを常に上回る結果を出しています。

imagehttps://www.kimi.com/blog/kimi-k3

裏側にあるアーキテクチャ

Kimi Delta Attention（KDA）は、ハイブリッドな線形アテンション機構です。Moonshot によると、この技術により 100 万トークンという超長文コンテキスト内でのデコード速度が最大 6.3 倍に向上します。

一方、AttnRes は「深度」というもう一つの軸で機能します。これは情報を均一に蓄積するのではなく、モデルの深さ全体から必要な表現を選択的に取り出す仕組みです。Moonshot によれば、この手法は追加コストが 2% に満たないにもかかわらず、トレーニング効率を約 25% 向上させる成果をもたらしています。

スパース性は三つ目の重要な要素です。K3 は「Stable LatentMoE」を採用し、896 個のエキスパートのうち 16 個のみを有効に動作させます。この程度のスパース性では、ルーティングと最適化が最大の課題となります。そこで採用されたのが「Quantile Balancing」です。これはルーターのスコア分布から直接エキスパートの割り当てを決定する手法で、ヒューリスティックな更新や調整が難しいハイパーパラメータを不要にします。

また、「Per-Head Muon」は、従来の Muon オプティマイザーを拡張し、アテンションヘッドごとに独立して最適化を行うように改良されています。さらに、活性化の制御には「Sigmoid Tanh Unit (SiTU)」を、アテンションの選択性向上には「Gated MLA」を採用しています。

これらの構造上の改変に加え、トレーニング手法とデータレシピも洗練されました。その結果、K2 と比較して全体のスケーリング効率が約 2.5 倍向上しました。

こうした設計思想は、推論（サービング）の段階でも活かされています。K3 では SFT（Supervised Fine-Tuning）段階から量子化対応トレーニングを適用し、MXFP4 の重みと MXFP8 の活性化値を使用することで、幅広いハードウェアでの互換性を確保しています。Moonshot チームは、64 基以上のアクセラレーターを搭載した「supernode」構成を推奨しています。

また、KDA（Kimi Delta Attention）の特性によりプレフィックスキャッシングに新たな課題が生じたため、Moonshot チームは vLLM への実装を提供しました。

(function(){var f=document.getElementById("mtp-k3-frame");

window.addEventListener("message",function(e){

var d=e&&e.data; if(!d||typeof d!=="object") return;

if(typeof d.mtpK3Height==="number"&&d.mtpK3Height>200&&d.mtpK3Height

パフォーマンス

仕組みが明確になったことで、発表されたスコアも読みやすくなりました。すべての K3 の結果は、推論の努力レベルを最大に設定したものです。ベンチマークごとのハーンセス（評価環境）は異なります：KimiCode、Claude Code、または Codex を使用しています。

Benchmark

Kimi K3

Fable 5 (with fallback)

GPT-5.6 Sol

Opus 4.8

GLM-5.2

DeepSWE: 67.5, 70.0, 73.0, 59.0, 46.2

Program Bench: 77.8, 76.8, 77.6, 71.9, 63.7

Terminal Bench 2.1: 88.3, 84.6, 88.8, 84.6, 82.7

FrontierSWE: 81.2, 86.6, 71.3, 66.7, 67.3

SWE Marathon: 42.0, 35.0, 39.0, 40.0, 13.0

BrowseComp: 91.2, 88.0, 90.4, 84.3, —

Automation Bench: 30.8, 29.1, 29.7, 27.2, 12.9

GPQA-Diamond: 93.5, 92.6, 94.1, 91.0, 91.2

HLE-Full: 43.5, 53.3, 44.5, 49.8, —

MMMU-Pro: 81.6, 81.2, 83.0, 78.9, —

OmniDocBench: 91.1, 89.8, 85.8, 87.9, —

この表には2つの注意点が伴います。「with fallback（フォールバックあり）」とは、Fable 5 が利用ポリシーによりリクエストを拒否した場合に、Opus 4.8 に振り替える設定を指します。また、BrowseComp の評価では 30 万トークンでコンテキスト圧縮がトリガーされました。この管理機能なしの場合、Kimi K3 のスコアは 90.4 です。

つまり、Kimi K3 は Program Bench、SWE Marathon、BrowseComp、Automation Bench、OmniDocBench で首位に立ちます。一方で FrontierSWE と HLE-Full では Fable 5 に、DeepSWE では GPT-5.6 Sol にスコアで劣っています。

使用事例と具体例

Moonshot チームは、テキスト・画像・動画を同時に処理するネイティブなマルチモーダルアーキテクチャを採用していると明言しています。

アクセスと最小限の呼び出し

Kimi K3 は、Kimi.com、Kimi Work、Kimi Code、そして API 上で利用可能です。アクセスには OpenAI SDK を使用し、Moonshot のベース URL 経由で接続します。

Copy CodeCopiedUse a different Browser

from openai import OpenAI
import os

client = OpenAI(api_key=os.environ["MOONSHOT_API_KEY"],
                base_url="https://api.moonshot.ai/v1")

completion = client.chat.completions.create(
    model="kimi-k3",
    reasoning_effort="max",
    messages=[{"role": "user", "content": "Introduce Kimi K3 in one sentence."}],
)
print(completion.choices[0].message.content)

利用にあたっては、以下の 4 つのルールが重要です。まず、reasoning_effort は max のみをサポートしており、K2.x で使われていた思考パラメータは使用できません。また、temperature、top_p、n は固定値のため指定する必要はありません。max_completion_tokens のデフォルト値は 131,072 ですが、最大で 1,048,576 まで拡張可能です。多ターン対話やツール呼び出しを行う際は、アシスタントの応答を完全なメッセージとして返す必要があります。

料金体系は一律で、コンテキスト長による tiering（段階的な価格設定）はありません。キャッシュヒット時の入力料金は 100 万トークンあたり 0.30 ドル、キャッシュミス時は 3.00 ドル、出力料金は 15.00 ドルです。したがって、重要なのはキャッシュヒット率です。Moonshot チームによると、コーディング関連のワークロードではキャッシュヒット率が 90% を超えているとのことです。

要点

• Kimi K3 は 2.8 トリオンパラメータを持つオープンな MoE モデルで、896 個のエキスパートのうち 16 個が活性化されます。
• KDA（Kimi Delta Attention）、AttnRes、スパース性、そして洗練された学習レシピにより、K2 と比べて約 2.5 倍のスケーリング性能を達成しています。
• BrowseComp、SWE Marathon、OmniDocBench では首位を争いますが、FrontierSWE や HLE-Full の Fable 5 ベンチマークではやや劣ります。
• OpenAI SDK と互換性があり、100 万トークンのコンテキスト長をサポート。料金は入力（キャッシュヒット）0.30 ドル、入力（キャッシュミス）3.00 ドル、出力 15.00 ドルです。

技術詳細や試行はこちらからご確認ください。また、Twitter でフォローしていただくと幸いです。15 万人以上の ML 関係者が参加する Reddit サブコミュニティにもぜひご参加ください。ニュースレターへの登録も忘れずに。

Telegram をご利用の方へ：今なら Telegram でも私たちに参加いただけます。

※本記事は MarkTechPost にて公開された「Moonshot AI Releases Kimi K3: A 2.8 Trillion Parameter Open MoE Model With Kimi Delta Attention and 1M Context」の翻訳です。