Moonshot AI が世界初のオープン 2.8T モデル「Kimi K3」を発表
Moonshot AI が世界初のオープン 2.8 トリオンパラメータクラスモデル「Kimi K3」を公開し、100 万トークンのコンテキストと独自のアーキテクチャで長文処理能力を大幅に強化した。
キーポイント
世界初のオープン大規模モデルの登場
Moonshot AI は Kimi K3 を「世界初のオープン 2.8 トリオンパラメータクラスモデル」として発表し、過去 12 ヶ月のうち 9 ヶ月でオープンモデルのサイズ上限を更新してきた実績を持つ。
独自のアーキテクチャ革新
Kimi Delta Attention (KDA) と Attention Residuals (AttnRes) を採用し、100 万トークンコンテキストでのデコーディング速度を最大 6.3 倍向上させると同時に、トレーニング効率を約 25% 改善した。
高度なスパーシティと最適化技術
Stable LatentMoE を活用し、896 エキスパート中 16 個のみを動的に活性化させることで計算コストを抑えつつ、ルーティングの最適化や量子化対応（MXFP4/MXFP8）により実用性を高めた。
現状の性能位置づけ
Moonshot 独自の評価では他モデルを凌駕するが、Claude 3.5 Sonnet や GPT-4o などの最上位プロプライエタリモデルには依然として及ばないとしている。
ベンチマークでの強みと弱点
Kimi K3 は Program Bench、SWE Marathon、BrowseComp などで他モデルをリードする一方、FrontierSWE や HLE-Full では Fable 5 に劣る結果となりました。
アクセス方法とパラメータ制限
OpenAI SDK を使用して API に接続可能ですが、reasoning_effort は max のみで利用でき、temperature や top_p などのパラメータは固定値として指定できません。
キャッシュ活用によるコスト効率
コーディングワークロードではキャッシュヒット率が 90% を超えており、キャッシュヒット時は入力 1MTok あたり$0.30 と非常に低価格で利用できます。
重要な引用
Kimi K3 is the world's first open 3T-class model.
Moonshot states it enables up to 6.3x faster decoding in million-token contexts.
Overall performance still trails the most powerful proprietary models, Claude Fable 5 and GPT 5.6 Sol.
K3 leads Program Bench, SWE Marathon, BrowseComp, Automation Bench, and OmniDocBench.
The cache-hit rate is therefore the number to watch.
影響分析・編集コメントを表示
影響分析
この発表は、オープンソースコミュニティにおいて大規模モデルのサイズと性能における「壁」を突破したことを示しており、研究開発や長文処理が必要な業務領域での選択肢を大幅に広げる可能性があります。特に 100 万トークンコンテキストへの対応は、文書分析や複雑なコード生成などの分野で、プロプライエタリモデルに依存していたワークフローのオープンソース化を加速させる要因となるでしょう。
編集コメント
Moonshot AI が「世界初」と称する 2.8T パラメータのオープンモデルを公開したことは、大規模言語モデルの民主化における重要なマイルストーンです。ただし、記事内で言及されている競合他社のモデル名（Claude Fable 5 や GPT 5.6 Sol など）は現時点で公式に発表されていない名称である可能性が高く、これは将来の予測や仮称、あるいは記事内の誤記である可能性があります。実際の性能比較には、正式なベンチマーク結果の検証が不可欠です。
Moonshot AI が「Kimi K3」を公開しました。これは、ネイティブの視覚機能と 100 万トークンという超長文コンテキストウィンドウを備えた、パラメータ数 2.8 兆のモデルです。Moonshot はこれを「世界初のオープンな 3 兆クラスモデル」と位置づけています。
Kimi K3 とは何か？
Kimi K3 は、「Kimi Delta Attention（KDA）」と「Attention Residuals（AttnRes）」という 2 つのアーキテクチャ上の改良を基盤とした、スパースな Mixture-of-Experts（MoE）モデルです。これらは、シーケンス長やモデル深度にわたる情報の流れ方そのものを変革するものです。K3 は、長期にわたるコーディングタスク、知識作業、そして推論能力の向上を目的として設計されています。
Moonshot チームは、K3 が「2.8 兆パラメータ規模に到達した初のオープンモデル」であると明言しています。過去 12 ヶ月のうち 9 ヶ月で Kimi シリーズがオープンモデルのサイズ上限を更新し続けてきた実績があります。
また、Moonshot は K3 の立ち位置についても率直です。現時点では、Claude Fable 5 や GPT 5.6 Sol といった最強クラスの独自開発モデルにはまだ性能面で劣ります。ただし、Moonshot 自身が行った評価スイートでは、K3 は他社製の競合モデルを常に上回る結果を出しています。
imagehttps://www.kimi.com/blog/kimi-k3
裏側にあるアーキテクチャ
Kimi Delta Attention（KDA）は、ハイブリッドな線形アテンション機構です。Moonshot によると、この技術により 100 万トークンという超長文コンテキスト内でのデコード速度が最大 6.3 倍に向上します。
一方、AttnRes は「深度」というもう一つの軸で機能します。これは情報を均一に蓄積するのではなく、モデルの深さ全体から必要な表現を選択的に取り出す仕組みです。Moonshot によれば、この手法は追加コストが 2% に満たないにもかかわらず、トレーニング効率を約 25% 向上させる成果をもたらしています。
スパース性は三つ目の重要な要素です。K3 は「Stable LatentMoE」を採用し、896 個のエキスパートのうち 16 個のみを有効に動作させます。この程度のスパース性では、ルーティングと最適化が最大の課題となります。そこで採用されたのが「Quantile Balancing」です。これはルーターのスコア分布から直接エキスパートの割り当てを決定する手法で、ヒューリスティックな更新や調整が難しいハイパーパラメータを不要にします。
また、「Per-Head Muon」は、従来の Muon オプティマイザーを拡張し、アテンションヘッドごとに独立して最適化を行うように改良されています。さらに、活性化の制御には「Sigmoid Tanh Unit (SiTU)」を、アテンションの選択性向上には「Gated MLA」を採用しています。
これらの構造上の改変に加え、トレーニング手法とデータレシピも洗練されました。その結果、K2 と比較して全体のスケーリング効率が約 2.5 倍向上しました。
こうした設計思想は、推論（サービング）の段階でも活かされています。K3 では SFT（Supervised Fine-Tuning）段階から量子化対応トレーニングを適用し、MXFP4 の重みと MXFP8 の活性化値を使用することで、幅広いハードウェアでの互換性を確保しています。Moonshot チームは、64 基以上のアクセラレーターを搭載した「supernode」構成を推奨しています。
また、KDA（Kimi Delta Attention）の特性によりプレフィックスキャッシングに新たな課題が生じたため、Moonshot チームは vLLM への実装を提供しました。
(function(){var f=document.getElementById("mtp-k3-frame");
window.addEventListener("message",function(e){
var d=e&&e.data; if(!d||typeof d!=="object") return;
if(typeof d.mtpK3Height==="number"&&d.mtpK3Height>200&&d.mtpK3Height
パフォーマンス
仕組みが明確になったことで、発表されたスコアも読みやすくなりました。すべての K3 の結果は、推論の努力レベルを最大に設定したものです。ベンチマークごとのハーンセス（評価環境）は異なります：KimiCode、Claude Code、または Codex を使用しています。
Benchmark
Kimi K3
Fable 5 (with fallback)
GPT-5.6 Sol
Opus 4.8
GLM-5.2
DeepSWE: 67.5, 70.0, 73.0, 59.0, 46.2
Program Bench: 77.8, 76.8, 77.6, 71.9, 63.7
Terminal Bench 2.1: 88.3, 84.6, 88.8, 84.6, 82.7
FrontierSWE: 81.2, 86.6, 71.3, 66.7, 67.3
SWE Marathon: 42.0, 35.0, 39.0, 40.0, 13.0
BrowseComp: 91.2, 88.0, 90.4, 84.3, —
Automation Bench: 30.8, 29.1, 29.7, 27.2, 12.9
GPQA-Diamond: 93.5, 92.6, 94.1, 91.0, 91.2
HLE-Full: 43.5, 53.3, 44.5, 49.8, —
MMMU-Pro: 81.6, 81.2, 83.0, 78.9, —
OmniDocBench: 91.1, 89.8, 85.8, 87.9, —
この表には2つの注意点が伴います。「with fallback（フォールバックあり）」とは、Fable 5 が利用ポリシーによりリクエストを拒否した場合に、Opus 4.8 に振り替える設定を指します。また、BrowseComp の評価では 30 万トークンでコンテキスト圧縮がトリガーされました。この管理機能なしの場合、Kimi K3 のスコアは 90.4 です。
つまり、Kimi K3 は Program Bench、SWE Marathon、BrowseComp、Automation Bench、OmniDocBench で首位に立ちます。一方で FrontierSWE と HLE-Full では Fable 5 に、DeepSWE では GPT-5.6 Sol にスコアで劣っています。
使用事例と具体例
| 使用ケース | 報告された事例 | 依存技術 |
|---|---|---|
| リポジトリ規模のエンジニアリング | 長時間実行、最小限の人間監視 | Kimi Code, /model |
| ビジョンをループに組み込む | コードとライブスクリーンショットの往復 | Vision, ms:// |
| 研究再現 | I–Love–Q 関係：論文 20 本以上、Python コード 3,000 行超 | 1M コンテキスト、自動キャッシュ |
| 深層調査レポート | 42 年間の ASIC 研究：フェッチ 2,800 回超、ページ 11,000 枚超 | Kimi Work, ウィジェット |
| ドキュメント解析 | OmniDocBench スコア 91.1 | Vision、構造化出力 |
Moonshot チームは、テキスト・画像・動画を同時に処理するネイティブなマルチモーダルアーキテクチャを採用していると明言しています。
アクセスと最小限の呼び出し
Kimi K3 は、Kimi.com、Kimi Work、Kimi Code、そして API 上で利用可能です。アクセスには OpenAI SDK を使用し、Moonshot のベース URL 経由で接続します。
Copy CodeCopiedUse a different Browser
from openai import OpenAI
import os
client = OpenAI(api_key=os.environ["MOONSHOT_API_KEY"],
base_url="https://api.moonshot.ai/v1")
completion = client.chat.completions.create(
model="kimi-k3",
reasoning_effort="max",
messages=[{"role": "user", "content": "Introduce Kimi K3 in one sentence."}],
)
print(completion.choices[0].message.content)利用にあたっては、以下の 4 つのルールが重要です。まず、reasoning_effort は max のみをサポートしており、K2.x で使われていた思考パラメータは使用できません。また、temperature、top_p、n は固定値のため指定する必要はありません。max_completion_tokens のデフォルト値は 131,072 ですが、最大で 1,048,576 まで拡張可能です。多ターン対話やツール呼び出しを行う際は、アシスタントの応答を完全なメッセージとして返す必要があります。
料金体系は一律で、コンテキスト長による tiering（段階的な価格設定）はありません。キャッシュヒット時の入力料金は 100 万トークンあたり 0.30 ドル、キャッシュミス時は 3.00 ドル、出力料金は 15.00 ドルです。したがって、重要なのはキャッシュヒット率です。Moonshot チームによると、コーディング関連のワークロードではキャッシュヒット率が 90% を超えているとのことです。
Key Takeaways
- Kimi K3 は 2.8 トリオンパラメータを持つオープンな MoE モデルで、896 個のエキスパートのうち 16 個が活性化されます。
- KDA（Kimi Delta Attention）、AttnRes、スパース性、そして洗練された学習レシピにより、K2 と比べて約 2.5 倍のスケーリング性能を達成しています。
- BrowseComp、SWE Marathon、OmniDocBench では首位を争いますが、FrontierSWE や HLE-Full の Fable 5 ベンチマークではやや劣ります。
- OpenAI SDK と互換性があり、100 万トークンのコンテキスト長をサポート。料金は入力（キャッシュヒット）0.30 ドル、入力（キャッシュミス）3.00 ドル、出力 15.00 ドルです。
技術詳細や試行はこちらからご確認ください。また、Twitter でフォローしていただくと幸いです。15 万人以上の ML 関係者が参加する Reddit サブコミュニティにもぜひご参加ください。ニュースレターへの登録も忘れずに。
Telegram をご利用の方へ：今なら Telegram でも私たちに参加いただけます。
GitHub リポジトリや Hugging Face ページ、製品リリース、ウェビナーなどのプロモーションをご希望の場合は、ぜひご連絡ください。
※本記事は MarkTechPost にて公開された「Moonshot AI Releases Kimi K3: A 2.8 Trillion Parameter Open MoE Model With Kimi Delta Attention and 1M Context」の翻訳です。
原文を表示
Moonshot AI just released Kimi K3. It is a 2.8-trillion-parameter model with native vision and a 1-million-token context window. Moonshot calls it the world’s first open 3T-class model.
What is Kimi K3?
Kimi K3 is a sparse Mixture-of-Experts (MoE) model built on two architectural updates. Those are Kimi Delta Attention (KDA) and Attention Residuals (AttnRes). Both change how information flows across sequence length and model depth. K3 targets long-horizon coding, knowledge work, and reasoning.
Moonshot team states K3 is the first open model to reach 2.8 trillion parameters. For nine of the past twelve months, Kimi models set the upper bound of open-model sizes.
Moonshot is also direct about where K3 sits. Overall performance still trails the most powerful proprietary models, Claude Fable 5 and GPT 5.6 Sol. Across Moonshot’s own evaluation suite, K3 consistently outperformed other tested models.
imagehttps://www.kimi.com/blog/kimi-k3
The Architecture Underneath
Kimi Delta Attention (KDA) is a hybrid linear attention mechanism. Moonshot states it enables up to 6.3x faster decoding in million-token contexts.
AttnRes works along the other axis, which is depth. It selectively retrieves representations across depth rather than accumulating them uniformly. Moonshot states AttnRes delivers roughly 25% higher training efficiency at under 2% additional cost.
Sparsity is the third lever. K3 uses Stable LatentMoE, effectively activating 16 of 896 experts. At that sparsity, routing and optimization become first-order challenges. Quantile Balancing derives expert allocation directly from router-score quantiles. That eliminates heuristic updates and a sensitive balancing hyperparameter. Per-Head Muon extends Muon by optimizing attention heads independently. Sigmoid Tanh Unit (SiTU) and Gated MLA improve activation control and attention selectivity respectively.
Refined training and data recipes accompany those structural changes. Together they yield roughly 2.5x better overall scaling efficiency than Kimi K2.
Those choices carry into serving. K3 applies quantization-aware training from the SFT stage onward. It uses MXFP4 weights with MXFP8 activations for broad hardware compatibility. Moonshot team recommends supernode configurations with 64 or more accelerators. Because KDA poses new challenges for prefix caching, Moonshot contributed an implementation to vLLM.
(function(){var f=document.getElementById("mtp-k3-frame");
window.addEventListener("message",function(e){
var d=e&&e.data; if(!d||typeof d!=="object") return;
if(typeof d.mtpK3Height==="number"&&d.mtpK3Height>200&&d.mtpK3Height
Performance
With the mechanics established, the published scores are easier to read. All K3 results use reasoning effort set to max. Harnesses differ per benchmark: KimiCode, Claude Code, or Codex.
BenchmarkKimi K3Fable 5 (w/ fallback)GPT 5.6 SolOpus 4.8GLM-5.2
DeepSWE67.570.073.059.046.2
Program Bench77.876.877.671.963.7
Terminal Bench 2.188.384.688.884.682.7
FrontierSWE81.286.671.366.767.3
SWE Marathon42.035.039.040.013.0
BrowseComp91.288.090.484.3—
Automation Bench30.829.129.727.212.9
GPQA-Diamond93.592.694.191.091.2
HLE-Full43.553.344.549.8—
MMMU-Pro81.681.283.078.9—
OmniDocBench91.189.885.887.9—
Two caveats shape this table. 'With fallback' means requests Fable 5 refuses under its usage policy route to Opus 4.8. Also, BrowseComp used context compaction triggered at 300K tokens. Without that context management, K3 scores 90.4.
So K3 leads Program Bench, SWE Marathon, BrowseComp, Automation Bench, and OmniDocBench. It trails Fable 5 on FrontierSWE and HLE-Full, and GPT 5.6 Sol on DeepSWE.
Use Cases and Examples
Use caseReported exampleRelies on
Repo-scale engineeringLong sessions, minimal human oversightKimi Code, /model
Vision in the loopIterating between code and live screenshotsVision, ms://<file-id>
Research reproductionI–Love–Q relations: 20+ papers, 3,000+ lines of Python1M context, auto caching
Deep research reports42-year ASIC study: 2.8k+ fetches, 11k+ pagesKimi Work, Widgets
Document parsingOmniDocBench score of 91.1Vision, structured output
Moonshot team states one native multimodal architecture handles text, images, and video together.
Access and a Minimal Call
K3 is live on Kimi.com, Kimi Work, Kimi Code, and the API. Access runs through the OpenAI SDK against a Moonshot base URL.
Copy CodeCopiedUse a different Browser
from openai import OpenAI
import os
client = OpenAI(api_key=os.environ["MOONSHOT_API_KEY"],
base_url="https://api.moonshot.ai/v1")
completion = client.chat.completions.create(
model="kimi-k3",
reasoning_effort="max",
messages=[{"role": "user", "content": "Introduce Kimi K3 in one sentence."}],
)
print(completion.choices[0].message.content)
Four rules matter. reasoning_effort supports only max, and the K2.x thinking parameter must not be used. temperature, top_p, and n are fixed, so omit them. max_completion_tokens defaults to 131072 and reaches 1048576. In multi-turn and tool calls, return the complete assistant message.
Pricing is flat, with no tiering by context length. Cache-hit input is $0.30/MTok, cache-miss is $3.00/MTok, and output is $15.00/MTok. The cache-hit rate is therefore the number to watch. Moonshot team reports above 90% cache hits in coding workloads.
Key Takeaways
Kimi K3 is a 2.8T-parameter open MoE model activating 16 of 896 experts.
KDA, AttnRes, sparsity, and refined recipes give ~2.5x better scaling than K2.
K3 leads BrowseComp, SWE Marathon, OmniDocBench; trails Fable 5 on FrontierSWE and HLE-Full.
OpenAI-SDK compatible at $0.30/$3.00/$15.00 per MTok, with 1M context.
Check out the Technical details and Try here . Also, feel free to follow us on Twitter and don’t forget to join our 150k+ML SubReddit and Subscribe to our Newsletter. Wait! are you on telegram? now you can join us on telegram as well.
Need to partner with us for promoting your GitHub Repo OR Hugging Face Page OR Product Release OR Webinar etc.? Connect with us
The post Moonshot AI Releases Kimi K3: A 2.8 Trillion Parameter Open MoE Model With Kimi Delta Attention and 1M Context appeared first on MarkTechPost.
関連記事
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み