Thinking Machines が初のオープンモデル「Inkling」発表
Thinking Machines は、9750億パラメータのマルチモーダル大規模モデル「Inkling」および軽量版「Inkling-Small」をオープンウェイトで公開し、カスタマイズとファインチューニングを可能にするプラットフォーム「Tinker」を提供した。
キーポイント
超大規模マルチモーダルモデルの公開
9750億パラメータ（410億アクティブ）のトランスフォーマー型モデル「Inkling」が、テキスト・画像・音声・動画の全領域をネイティブに処理する能力でリリースされた。
オープンウェイトとカスタマイズ性の重視
完全な重み（weights）が公開され、企業や開発者が独自のユースケースに合わせてファインチューニングできる「Tinker」プラットフォーム上で利用可能となっている。
効率的な推論と軽量モデルの併存
1M トークンのコンテキストウィンドウに対応しつつ、コストと性能を最適化する「思考努力（thinking effort）」の制御が可能で、低コスト・低遅延を実現する「Inkling-Small」も同時に公開された。
Inkling モデルの仕様と特徴
975B パラメータ（41B アクティブ）の Mixture-of-Experts トランスフォーマーで、最大 100 万トークンのコンテキストウィンドウをサポートし、テキスト・画像・音声・動画から事前学習されています。
カスタマイズと Tinker プラットフォーム
モデルの完全な重みが公開され、Tinker 上でユーザーが独自に微調整（fine-tuning）可能であり、開発者向けインタフェース「Inkling Playground」も提供されています。
自己微調整の実証
Tinker を用いて Inkling モデル自身が自身の微調整ジョブを記述・実行・評価するという、カスタマイズの可能性を示すデモンストレーションが行われました。
汎用モデルとしての設計
Inkling はエージェント処理、推論、コーディング、指示従順性、事実性、ビジョン、音声タスクなど多岐にわたる領域で訓練され、単一のドメインに特化しない広範な能力を備えています。
重要な引用
Our mission is to build AI that extends human will and judgment.
We are advancing our mission by releasing a model we trained from scratch with the full weights available, so that people can make it their own.
Inkling reasons natively over text, images, and audio, and balances cost with performance through efficient and controllable thinking effort.
Inkling is not the strongest overall model available today, open or closed. Instead, a combination of qualities makes it a good open-weights base for customization: multimodal capabilities, efficient thinking, and availability on Tinker for fine-tuning.
We trained it across agentic, reasoning, coding, instruction-following, factuality, vision, and audio tasks, rather than narrowly optimizing for one domain.
That breadth matters for customization and real-world use: different users need models that can adapt to very different workflows, not just excel on benchmarks.
影響分析・編集コメントを表示
影響分析
この発表は、大手クローズドモデルへの依存を減らし、企業が自社のデータや要件に合わせて大規模マルチモーダルモデルを構築・調整できる道を開く重要な転換点です。特に「思考努力」の制御機能と完全なオープンウェイトの提供により、研究開発から実装までのサイクルが加速し、AI の民主化と産業応用の深化に寄与すると予想されます。
編集コメント
9750億パラメータという規模でありながら、アクティブなパラメータ数を制御し、マルチモーダル処理をネイティブで実現した点は技術的に極めて注目すべき成果です。完全な重みの公開により、企業レベルでの独自カスタマイズが現実味を帯びており、今後のAI開発のあり方に大きな影響を与える可能性があります。
私たちのミッションは、人間の意志と判断を拡張する AI を構築することです。これまでに、誰でもモデルをカスタマイズできるプラットフォームを開発し、対話型コラボレーションに特化した AI システムのプレビューを発表し、新たな研究成果も公開してきました。
そして今日、私たちはこのミッションをさらに前進させるため、ゼロから訓練したモデルを、全パラメータを含む重み付きで公開します。これにより、誰もが自分好みにモデルをカスタマイズできるようになります。
今回公開する「Inkling」は、Mixture-of-Experts 型トランスフォーマーです。総パラメータ数は 9750 億（975B）、アクティブに動作するのは 410 億（41B）です。最大 100 万トークン（1M tokens）のコンテキストウィンドウに対応しています。
事前学習には、テキスト、画像、音声、動画を合わせた計 45 兆トークンを使用しました。これは異なるサイズのモデル群を構成する最初のモデルであり、同時に軽量版「Inkling-Small」のプレビューも公開します。Inkling-Small はアクティブパラメータが 120 億（12B）で、同様の学習手法を採用しつつ、より低コスト・低遅延で高い性能を発揮します。
Inkling はテキスト、画像、音声に対してネイティブに推論を行い、効率的かつ制御可能な思考の量によってコストとパフォーマンスのバランスを取ります。私たちはこのモデルを、多様なドメインで強力でありながら柔軟に適応できる、広範でバランスの取れた基盤モデルとして訓練しました。
Inkling は現在利用可能なオープンソース・クローズドソースを問わず、単独では最強のモデルではありません。しかし、マルチモーダル機能、効率的な思考能力、そして Tinker 上での微調整（ファインチューニング）への対応という複数の特性が組み合わさることで、カスタマイズに適した優れたオープンウェイトベースとなっています。Inkling はあくまで始まりに過ぎません。私たちは今後、このモデルファミリーをさらに発展させていく予定です。
より多くのユースケースでカスタマイズが可能になるよう、Inkling の微調整は今日から Tinker で利用可能です。適切な基盤モデルを選ぶことは、数値的なベンチマークと、実際に触ってみて感じるモデルの特性という定性的な判断を組み合わせる作業です。後者の感覚を育むために、Tinker コンソールに「Inkling Playground」を追加しました。これは開発者が Inkling とチャットできるためのインターフェースです。
カスタマイズの実際的な意味合いを示すため、私たちは Inkling に自ら微調整を行うよう依頼しました。Tinker を使ってモデル自身が微調整ジョブを記述し、実行し、その結果を評価したのです：
Build · inkling · tinker-prod
~/news/introducing-inkling/
1.33.7
OpenCode ハッチャー内で動作する Inkling の起動について
共有可能なカットが作成された後、
機能#
実世界でのアプリケーションでは、微調整によって組み合わせたり改善したりできる多様な機能を備えたモデルが必要です。ここでは、Inkling がどのようなことができるか、そして信頼性や安全性といった重要な品質においてどのように評価されているかを紹介します。
ジェネラリストモデル#
Inkling は幅広い用途を想定して設計されています。特定のドメインに特化して最適化するのではなく、エージェントタスク、推論、コーディング、指示の遵守、事実性の検証、ビジョン（画像認識）、音声処理など、多岐にわたる分野でトレーニングを行いました。この広範な能力は、カスタマイズ性と実世界での利用において重要です。異なるユーザーは、ベンチマークテストで高いスコアを出すだけでなく、非常に異なるワークフローに適応できるモデルを必要としているからです。
Spider 型チャート：Inkling、Nemotron 3 Ultra、GLM 5.2、GPT 5.6 Sol、Claude Fable の 10 項目の評価（0〜100 点）を比較。Inkling は太いコバルト色の線で表示されています。評価結果が報告されていないモデルは 0 点としてプロットされています。評価項目にカーソルを合わせると、全モデルのスコアを比較できます。
「Inkling」は、広範かつバランスの取れた一般向けモデルです。ベンチマークスコアは共通の 0〜100 のスケールで表示され、数値が高いほど優れています。この結果は、特定のベンチマークファミリーに特化して最適化されたモデルではなく、テキスト、エージェント機能、マルチモーダル、音声評価など、あらゆる分野で競争力のあるパフォーマンスを示しています。こうした広範な能力こそが、Inkling の本来の役割を反映したものです。つまり、さまざまなドメインやワークフロー、製品に対応可能な実用的なマルチモーダル基盤モデルとしてカスタマイズされることを意図しているのです。
エージェントによるコーディングとツール活用#
微調整（ファインチューニング）に耐えうる強力なベースモデルには、エージェントとしてのツール活用を通じて多様なタスクを柔軟に解決する能力が求められます。Inkling は、オープンウェイトモデルの中で最も多くのエージェントベンチマークで高いスコアを記録しています。
トレーニング時には、Inkling をさまざまなコーディングおよびエージェント環境で動作させるよう設計しました。また、特定のツールセットやスキーマへの依存度を下げるため、学習中にツールセットとスキーマをランダム化しています。次節で詳述する「制御可能な思考負荷」も、これらの環境から設定可能です。
以下に、Inkling のエージェントによるコーディング能力とツール活用、そして生成された成果物のデモをいくつか紹介します。
埋め込みブラウザ機能を持つワンショットの Web アプリ#
Inkling は、単一の指示で機能的な Web アプリを構築し、さらにその中に組み込まれた AI アシスタントに、自然言語による指示を通じてアプリインターフェースを操作させる能力も備えています。
例えば、2 つ目のタブにあるプロンプトから求人応募用の Web アプリを一瞬で作成し、保存されたプロフィール情報に基づいてブラウザ使用エージェントがフォーム入力を完了させます。
デザインアリーナ#
Inkling is a broad, balanced generalist model. Benchmark scores are shown on a shared 0–100 scale; higher is better. The results show competitive performance across text, agentic, multimodal, and audio evaluations, rather than a model narrowly optimized for one benchmark family. This breadth reflects Inkling’s intended role: a practical multimodal foundation model for customization across domains, workflows, and products.
Agentic coding and tool use#
A strong base for fine-tuning needs to flexibly solve a wide variety of tasks with agentic tool use. Inkling scores well among open-weights models on most agentic benchmarks.
We trained Inkling to run inside a variety of coding and agent harnesses, and we randomized the tool set and schema during training to reduce sensitivity to any particular one. Inkling’s controllable thinking effort, described in the next section, can be set from within the harness.
Below are a few demos showcasing Inkling’s agentic coding and tool use and the artifacts it creates.
One-shot web app with embedded browser use#
Inkling built a functional web app in a single shot, then powers an embedded AI assistant that can operate the web app interface through natural language instructions.
Inkling one-shots a job-application web app from the prompt in the second tab, then a browser-use agent fills out the form from a saved profile.
Design Arena#
Inkling は、生成された Web アプリを人間評価者が盲検（ブラインド）形式で直接比較する「Design Arena のエージェント型 Web 開発リーダーボード」で評価されました。その結果、インクリングは現在、最も強力なオープンウェイトモデルの一つとしてランクされています。
Claude Sonnet 5
Claude Fable 5
Claude Opus 4.8
GLM 5.2
Grok 4.5
GPT-5.6 Sol
Inkling
Claude Opus 4.6
Gemini 3.5 Flash
Kimi K2.6
Claude Sonnet 4.6
Kimi K2.7 Code
GLM 5.1
Claude Opus 4.5
Grok 4.20 Reasoning
Gemini 3.1 Pro Preview
Grok 4.3
Kimi K2.5 (Thinking)
このリーダーボードにおける Inkling の位置づけは、生成されたアプリを人間が盲検で評価した結果に基づいています。図中のドット（●）はオープンウェイトモデルを示しています。
一貫性のあるスタイルのアーティファクト生成
Inkling は、指示に従って正確な情報を提供しつつ、ページ全体を通じてデザインとスタイルの一貫性を保ったマルチページアーティファクトを生成できます。2 つ目のタブにあるプロンプトに基づき、Inkling が作成したのは、洗練された 9 ページの PDF「食と旅のジャーナル」です。実際のドキュメントは上記から閲覧可能です。
長期間のリファインループを経て完成したマルチプレイヤーゲーム
Inkling は、GPT Codex をレビュアーとして活用し、オンラインの「スネークゲーム」を 40 回にわたるフィードバックを通じて改良しました。長い改善プロセスを継続し、フィードバックから学習して成果を高める能力こそが、最高の共同作業を生み出すために不可欠です。
2 つ目のタブにあるプロンプトから Inkling が生成したマルチプレイヤー向けスネークゲームには、リアルタイムサーバー、ボット機能、リーダーボードなど、すべてが含まれています。
制御可能な思考コスト#
テスト時の拡張（Test-time scaling）や問題解決能力は、あらゆるモデルの中核的な機能ですが、これを単一の数値で表すのは困難です。特定のタスク向けにモデルをファインチューニングする開発者にとって、公開ベンチマークでの最大努力性能と同様に、効率性も極めて重要です。コストとレイテンシ（応答遅延）は、実世界でのアプリケーションにおいてしばしば制約条件となり、特に低レイテンシは、反復的な改善を通じて協働を可能にするために不可欠です。
Inkling (effort sweep)
GLM-5.2
Kimi K2.6
Nemotron 3 Ultra
Kimi K2.5
GPT-OSS (high)
Terminal Bench 2.1、HLE、IFBench における平均生成トークン数に対するパフォーマンスを比較したグラフは、Inkling の Effort Setting を 0.2 から 0.99 に変化させた結果を示しています。競合モデルはデフォルト設定での値を表示しています。Inkling はより少ないトークン数で目標スコアに到達します。例えば Terminal Bench 2.1 では、Nemotron 3 Ultra と同等のパフォーマンスを約 3 分の 1 のトークン数で達成しています。
※Humanity's Last Exam のスコアは、リリース前のチェックポイントに基づくもので、最終版よりやや低い値となっています。
Inkling は制御可能な思考努力（Thinking Effort）をサポートしており、パフォーマンスとトークン効率のバランスを調整できます。上記グラフは、Inkling とその他のオープンウェイトモデルが、エージェントによるコーディング向けの Terminal Bench 2.1、高度な推論向けの HLE、指示従順性の IFBench など、さまざまなベンチマークで示す Effort とパフォーマンスの関係を示しています。
Terminal Bench では、Nemotron 3 Ultra と同等のパフォーマンスを達成するために必要なトークン数が Inkling は約 3 分の 1 です。モデルを数百万回実行したり、より長いワークフローの一部として利用する際、コストとレイテンシは重要な要素です。開発者はフルコストカーブを確認することで、各ユースケースに最適なモデルを選定できます。
多モーダル性#
Inkling の設計における主要な目標の一つは、先日発表した インタラクションモデルシステム において、バックグラウンドの推論モデルとして機能することです。インタラクションモデルにより、ユーザーは音声や視覚をリアルタイムで活用し、自然に協働することが可能になります。これには、広範な多モーダル能力をネイティブに備えたモデルが不可欠です。
Thinking Machines が初のオープンモデルを公開（12 分読了）
同社の最新モデルは、クローズドな重みを持つ既存の主要モデルと比較して、音声・視覚・推論の各領域で高い性能を発揮しています。特に Qwen3-Omni や Gemini 3.1 Pro(high) といった強力な競合モデルに対しても、多くのベンチマークで対等あるいはそれ以上の結果を記録しました。
音声タスクにおける評価では、Audio MC で 66.8%、MMAU で 82.5%、VoiceBench では 94.3% を達成。これは、Nemotron-3Nano-Omni や Kimi K2.6 などのモデルを上回る結果です。
視覚タスクにおいても、MMMU Pro (Standard 10) で 82.0%、Charxiv RQ では 80.2% と高いスコアを叩き出しました。特に Qwen3-Omni や Gemini 3.1 Pro(high) と比較しても遜色ない、あるいは上回るパフォーマンスを示しています。
これらの数値は、Thinking Machines が公開したモデルが、単なるオープンソースの代わりではなく、実用的なレベルで最先端のクローズドモデルと渡り合えることを示すものです。
Charxiv RQ with Python
82.0%
–
–
78.7%
86.7%
–
89.9%
専門的なオムニモデル（オープン・クローズドウェイト双方）とのオーディオおよびビジョンベンチマークの結果です。評価は、コスト係数 0.99 の条件下で報告されています。
マルチモーダルコンポーネントは、一般領域のデータからゼロから訓練されました。オーディオとビジョンの入力については、インタラクションモデルの設計方針に合わせ、エンコーダーを含まないアーキテクチャを採用しています。オーディオ信号は dMel スペクトログラムdMel: Speech Tokenization made Simple（Richard He Bai 他、2024）として入力され、画像は 4 レイヤーの hMLPThree things everyone should know about Vision Transformers（Hugo Touvron 他、2022）を用いて 40x40 ピクセルのパッチとしてエンコードされます。これらは軽量な埋め込み層を通じて変換され、テキストトークンと同時に処理されます。
Inkling は音声の文字起こし、指示の追従、録音内容への回答、そして長尺オーディオに対する推論が可能です。これらの機能により、VoiceBench、MMAU、AudioMC といったベンチマークにおいて、最も強力なオープンウェイトの音声モデルの一つとなっています。
視覚処理においては、Inkling は画像を入力として受け付け、視覚コンテンツの説明や質問への回答、提供された視覚情報に基づく詳細な推論を実行できます。チャート、図表、数値的な視覚推論タスクにおいても高い性能を発揮します。推論時には Python ツールを活用し、ズームや切り抜きなどの操作を通じて画像理解を支援しながら、視覚的推論とコードベースの推論をシームレスに統合することも可能です。
今回のリリースは最初のものですが、Inkling は将来の研究に向けた堅牢なマルチモーダル基盤を確立しました。今後はモデルとトレーニングパイプラインを拡張し、そのマルチモーダル能力がさらに向上していくことを期待しています。
認識論的側面（Epistemics）
Inkling の訓練では、キャリブレーション（信頼度調整）、指示の忠実な追従、検閲への耐性という 3 つの要素に重点を置きました。これらを総称して、私たちはモデルの「epistemics（認識論的側面）」と呼んでいます。
事実を正しく把握するためには、膨大な知識を暗記するだけでは不十分です。有用なモデルは適切に較正されており、回答に対する自信の度合いを正確に示す必要があります。これはまだ結論が出ていない問いに対しても同様です。この能力は予測や将来予測において極めて重要であり、ここ数ヶ月で微調整されたモデルが急速に進化し、最先端の大規模言語モデル（LLM）を上回る成果を示している重要なユースケースでもあります。
InklingGPT-5.5Claude Opus 4.8Gemini 3.1 ProGrok 4.3Kimi K2.6
ForecastBenchBrier Index ↑ · no search61.1 ± 0.7959.1 ± 0.4154.6 ± 0.9961.1 ± 0.5661.7 ± 0.5458.1 ± 0.54
ForecastBenchBrier Index ↑ · with search63.7 ± 0.8264.7 ± 1.2858.6 ± 0.6664.3 ± 1.0563.2 ± 0.82–
Prophet ArenaBrier Score ↓0.16170.15980.16050.15940.17150.1675
※これらの結果は、リリースされたチェックポイントとは異なる Inkling の別バージョンを用いて、2026 年 6 月 30 日から 7 月 13 日のテスト期間中に得られたものです。
予測には、複数の情報源を統合して信頼できる確率値を導き出す能力が求められます。これはモデルへの信頼性を支える中核的なスキルです。
もしモデルが、情報を欠いている場合や事実と異なる回答（幻覚）をしてしまう場合でも、すべての答えに対して過剰に自信を持っているなら、ユーザーは常に内容を再確認せざるを得なくなります。一方、状況に応じて適切な確信度を示せるモデルであれば、情報が矛盾していたり信頼性が低かったり、入手が困難だったりする現実世界の多様な領域で有用です。私たちは、解決済みの実世界の問題に関する大規模なデータセットを用いて、適正スコアリング則に基づく強化学習（RL）を通じて、この確信度の調整（キャリブレーション）を訓練しました。
信頼できるモデルの二つ目の要素は、検証が困難で複雑なクエリに対しても指示に従う能力です。私たちは、2 つの自動採点者を用いて強化学習を行いました。1 つ目はチェックリストに基づいて回答を評価する「ルブリック採点者」、もう 1 つは主張の妥当性を確認する「主張採点者」です。
最初の採点者は、良い回答に必須となる要素のチェックリストに対して各回答を評価します。原則として誤りを減らすための手法ですが、実際には「網羅性（リコール）」が重視されがちで、モデルが関連しそうな事実を大量に並べてルブリック項目にマッチさせようとするような手口（ハッキング）に弱いという課題があります。
一方、主張採点者は回答内の各事実に着目し、検証できない主張にはペナルティを与えます。この採点者は単なる知識ベースではなく、エージェントとしてウェブ検索を実行して事実確認を行うため、モデル自身の知識だけに依存しません。
これら 2 つの採点者を組み合わせることで、有用性の向上と幻覚（ハルシネーション）の抑制を両立させることが可能になります。どちらかを犠牲にしてバランスを取るのではなく、同時に改善を図っています。
これらの報酬は、長文回答における較正された不確実性（calibrated uncertainty）を直接狙っているわけではないため、私たちはそれを目的としたデータセットを追加しました。その中でも最大規模のものは、短問答形式で「回答拒否」を意識した報酬設計です。これは、モデルが正しいと判断した場合にのみ回答が評価される仕組みであり、最適なポリシーは「自信があるときは答え、そうでない場合は『わかりません』と言うか、確信のない推測を提示する」というものです。
一部のプロンプトでは、推測的な回答（hedge）を促したり禁止したりすることで、ユーザーの好みに応じて「無理やり答える」か「較正された非回答」を選ぶかをモデルに学習させます。
最後に、検閲の対象となりうるトピックについても、インクリングは直接的な回答ができるように訓練しました。認知（Cognition）チームが実施したプロパガンダと検閲に関する評価（Propaganda and Censorship Eval）では、このモデルが強い「検閲非遵守」のパターンを示すことが確認されました。
セーフティ#
インクリングは、あらゆるモダリティにわたる安全なモデル行動の内部仕様に基づいて訓練しました。その後、外部のセーフティテスターを委嘱して結果を検証させました。
インクリングの安全性は複数の観点から評価されました。危険な機能（CBRN：化学・生物・放射線・核兵器、サイバー攻撃、制御喪失）については、内部評価を実施し、外部テスターも招きました。また、人間と AI の間の脅威ベクトル——同調性（sycophancy）、脆弱なユーザーへの対応、有害な操作など——に対しても、内部評価と外部テスターを組み合わせて対策を講じました。
Inklingeffort=0.99
Nemotron 3
Ultra
Kimi K2.5
Kimi K2.6
GLM 5.2
DeepSeek V4
Pro
FORTRESS (Adversarial)
78.0%
77.6%
54.1%
65.6%
71.3%
36.0%
FORTRESS (Benign)
95.9%
90.5%
98.3%
97.2%
90.0%
98.5%
StrongREJECT
98.6%
98.7%
99.5%
99.8%
98.5%
98.6%
Inkling は、武器や暴力に関連する要求への拒否と、それに見せかけた安全なクエリをテストするベンチマーク「FORTRESS」において、比較したオープンウェイトモデルの中で最も強力な組み込みセキュリティ機能を示しました。有害なリクエストに対しては適切に拒絶し、一方で benign（安全）な類似クエリを過剰に拒絶することはありませんでした。また、明確に有害な要求に対する拒否テストである「StrongREJECT」では 98% を超えるスコアを記録し、他のオープンウェイトモデルやクローズドウェイトモデルと同等の性能を発揮しています。
オープンウェイトモデルにおいて安全性は極めて重要です。私たちは現在、カスタマイズ可能なモデルにおける安全性の振る舞いと能力向上について研究を続けており、特に Tinker でのファインチューニングがどのように安全性の振る舞いに影響を与えるかについても調査を進めています。
Inkling のベンチマーク評価
Inkling は幅広い機能範囲でベンチマークを実施しました。すべての評価は effort 0.99、temperature 1.0 で実行されました。コーディング関連の評価では、最大トークン数 256K の軌道制限を設けて行われました。
一貫性の向上には、内部モデルおよび外部モデルにおいて、可能な限り外部から報告された評価結果を参照しています。具体的には、Artificial Analysis が報告したスコアを採用しており、対象となる評価項目は以下の通りです。
ヒューマニティーズ・ラスト・エクザム（Humanity's Last Exam）、GPQA Diamond、GDPVal、Tau 3 Banking、AA Omniscience、MMMU Pro。
インクリングエフォート=0.99
ネモトロン 3 Ultra
キミ K2.5
キミ K2.6
GLM 5.2
ディープシーク V4 Pro
ジェミニ 3.1 Pro (high)
クロード Fable 5 (max)
GPT 5.6 Sol (max/xhigh)
推論能力
HLE テキストのみ
29.7%
26.6%
29.4%
35.9%
40.1%
35.9%
44.7%
53.3%
47.2%
HLE ツール使用時
46.0%
37.4%
50.2%
54.0%
54.7%
48.2%
51.4%
64.5%
55.0%
AIME 2026
97.1%
94.2%
95.8%
96.4%
99.2%
96.7%
98.3%
99.9%
99.9%
GPQA Diamond
87.2%
86.7%
87.9%
91.1%
89.5%
88.8%
94.1%
92.6%
94.1%
Agentic (コーディング)
SWEBench Verified*
77.6%
70.7%
76.8%
80.2%
80.0%
80.6%
80.6%
95.0%
82.2%
SWEBench ProPublic
54.3%
46.4%
50.7%
58.6%
62.1%
55.4%
54.2%
80.0%
64.6%
Terminal Bench 2.1*Best Harness
63.8%
56.4%
51.3%
71.3%
82.7%
64%
73.8%
84.6%
89.5%
Agentic (一般)
GDPVal-AA v2
1238
1164
1009
1190
1514
1307
962
1760
1748
MCP Atlas
74.1%
44.7%
64.0%
68.1%
77.8%
73.2%
78.2%
83.3%
81.8%
Tau 3 Banking
23.7%
13.8%
14.2%
20.6%
26.8%
25.8%
16.5%
26.8%
33.0%
BrowseCompw/ ctx management
77.1%
–
74.9%
83.2%
–
83.4%
85.9%
88.0%
90.84%
Factuality
SimpleQA Verified
43.9%
32.4%
36.9%
38.7%
38.1%
57.0%
77.3%
68.3%
71.6%
AA Omniscience
2.1
-1.0
-8.0
6.0
4.0
-10.0
33.0
40.0
22.0
Chat
IFBench
79.8%
81.4%
70.2%
76.0%
73.3%
76.5%
77.1%
63.5%
72.7%
Global-MMLU-Lite
88.7%
85.6%
84.0%
88.4%
89.2%
89.3%
92.7%
93.3%
91.8%
Vision
MMMU ProStandard
73.5%
–
75.0%
79.0%
–
–
82.0%
84.2%
83.0%
Charxiv RQ
78.1%
–
77.5%
80.4%
–
–
80.2%
86.5%
84.7%
Charxiv RQ† with python
82.0%
–
78.7%
86.7%
–
–
89.9%
89.4%
87.8%
Audio
Audio MC†
56.6%
–
–
–
–
–
66.8%
–
–
MMAU
77.2%
–
–
–
–
–
82.5%
–
–
VoiceBench†
91.4%
–
–
–
–
–
94.3%
–
–
Safety
FORTRESS Adversarial
78.0%
77.6%
54.1%
65.6%
71.3%
36.0%
65.2%
96.0%
82.4%
FORTRESSBenign
95.9%
90.5%
98.3%
97.2%
90.0%
98.5%
98.0%
55.1%
98.1%
StrongREJECT
98.6%
98.7%
99.5%
99.8%
98.5%
98.6%
98.0%
98.7%
98.5%
*SWEBench Verified: Inkling の数値は Bash のみで構成されたハーンネス（検証環境）を用いて報告されています。外部モデルについては自己申告の数値を採用しています。
Terminal Bench 2.1: Inkling の数値は内部のコーディングハーンネスで報告されました。ウェブ検索による不正な解決策が少数見つかったため、それらにはスコア 0 を付与しました。外部モデルについては利用可能な場合は自己申告の数値を使用し、そうでない場合は当社の内部ハーンネスを用いて性能を報告しています。
†Audio MC: 他のモデルは公式リーダーボードに存在しないため、内部評価を行いました。
†VoiceBench: VoiceBench は採点にルールベースのハードコードされた文字列マッチングを採用しているため、出力フォーマットのわずかな違いが評価結果に大きく影響します。そのため、期待される回答形式に従うよう指示するシステムメッセージを追加しました。
†CharXiv RQ with tools: Claude Fable 5 と GPT 5.6 Sol (max/xhigh) を内部の Python ハーンネスでベンチマークしました。*
Inkling の開発背景#
アーキテクチャ#
Inkling は Mixture-of-Experts（MoE）型トランスフォーマーですが、一般的な設計からいくつかの重要な変更を加えています。これらはすべて、効率性と長文コンテキストへの対応力を高めるために選ばれたものです。
MoE（Mixture of Experts）の設計は、DeepSeek-V3 に大きく基づいています。各 MoE レイヤーには 256 のルーティング専門家と 2 つの共有専門家が用意されており、トークンごとに 6 つのルーティング专家が活性化します。Inkling では、負荷分散バイアスを伴わないシグモイドベースのルーターを採用しています。選択されたルーティング専門家と共有専門家のスコアは結合して正規化され、それらの出力を重み付けするために用いられます。
アテンション機構では、スライディングウィンドウ層とグローバル層を 5:1 の比率で交互に配置し、KV ヘッド数は 8 に設定しています。位置情報の符号化については、より広く採用されている回転位置埋め込み（RoPE）よりも、相対位置表現を用いたアテンション Self-Attention with Relative Position Representations (Peter Shaw et al, 2018)Music Transformer (Cheng-Zhi Anna Huang et al, 2018) の方が性能が高く、より長いシーケンスへの外挿にも優れていることがわかりました。また、アテンション層内のキーとバリューの射影直後、およびアテンション出力と MLP 残差ブランチがメインの残差ストリームに再結合する前の 2 箇所に、短い畳み込み（convolutions）を適用しています。
学習#
Inkling は、テキスト、画像、音声、動画など多様なコンテンツから 45 トリリオントークンを学習して事前トレーニングされました。学習にはハイブリッドな最適化戦略を採用し、大規模行列の重みには Muon を、その他のパラメータには Adam を使用しました。また、ハイパーパラメータのスケジュール設定については、以前行ったモジュラー・マニフォールドに関する研究に基づいています。具体的には、重みの減衰強度を学習率の二乗に連動させることで、トレーニング期間を通じてモデル全体の重みサイズが安定することを確認しました。
事後トレーニングでは、数学、エージェントによるコード実行とツール利用、音声、画像、チャット、安全性など幅広いドメインで Inkling を微調整しました。事後トレーニングの初期段階では、Kimi K2.5 などのオープンウェイトモデルによって生成された合成データを用いて教師あり学習（SFT）を行いました。この初期学習は計算リソースのごく一部に過ぎず、大半の計算資源は合成環境と人間が作成した環境における大規模な強化学習（RL）に投入されています。
Inkling は当社の最初の主要なトレーニングプロジェクトであり、NVIDIA の GB300 NVL72 システム上で訓練されました。今後のモデルでは、事前トレーニング、事後トレーニング、そして強化学習の各段階において、さらに大規模な計算リソースを活用してスケールを拡大していく予定です。
スケールした強化学習
モデルの挙動を形成し、推論能力と全体のパフォーマンスを向上させるために、大規模な非同期強化学習（RL）を活用しました。以下のグラフは、AIME、HLE、GPQA などを含む保留された推論評価セットにおけるモデルのスコアを示しています。学習プロセスでは 3,000 万回を超えるロールアウトに RL をスケールし、2 回の長期間にわたる連続実行で安定したトレーニングを維持しました。その結果、推論性能は全過程を通じて対数線形的に向上し、全体として大幅な改善が見られました。
保留された推論評価セット（AIME、HLE、GPQA など）における報酬スコアは、SFT 初期化から公開済みチェックポイントに至るまで、3,000 万回を超える RL ロールアウトを通じて対数線形的に向上しています。
モデルが異なるサンプルでどの程度の努力を払うかを制御するため、システムメッセージを変更し、トークンあたりのコストを調整しました。これにより、各ロールアウトで使用されるトークン数が変動し、思考にかかる努力を制御する能力を学習することが可能になりました。
また、強化学習（RL）の過程において、推論スタイルに顕著な変化が生じることも確認できました。思考連鎖（Chain of Thought）は時間の経過とともにより簡潔になり、文法的な冗長性を削ぎ落としつつも理解しやすさを保ち、最終的な回答には影響を与えていません。これは報酬関数で意図的に狙ったものではなく、効率化のみが圧縮を駆動した結果です。
同様の現象は、Cognition チームが SWE-1.7 の訓練プロセスで最近観測しています。Cognition Team, "SWE-1.7: Frontier Intelligence at a Fraction of the Cost"。以下に、同じ数学問題に対する Inkling の思考連鎖が RL によってどのように進化するかを示します。
RL 初期：冗長で文法的
演算子を理解する必要があります。
5D 線要素は ds² = e^{2A(x)} (ds²_4d + dx²) です。ここで A(x) = sin(x) + 4 cos(x)、x は [0, 2π] の範囲です。
内部座標は周期的です。
背景は歪んだ積（warped product）であり、計量は g_{MN}（M,N = 0..4）で表されます。
内部方向の計量は e^{2A(x)} dx² でしょうか？
待って、ds² は e^{2A} (ds²_4d + dx²) です。
つまり内部計量は e^{2A(x)} dx² です。
実際、全体の計量が ds² = e^{2A(x)} (ds²_4d + dx²) なら、確かに内部計量は e^{2A} dx² です。
…
RL 後期：圧縮され、電報調
スピン-2 の揺らぎ h_{μν}(x,y) の固有値問題を決定する必要がある
4 次元で TT（トランスバーサル・トレースレス）条件を満たし、座標 x に依存するスピン-2 の揺らぎ h_{μν}(x,y) に対する固有値問題を解く必要があります。計量の形式は ds² = e^{2A(x)} (g_{μν}(y) + h_{μν}(y,x)) dy^μ dy^ν + e^{2A(x)}? 内部計量は e^{2A} dx²でしょうか？
実際には、ds² = e^{2A} [ds_4² + dx²] です。つまり、内部計量は e^{2A} dx² となり、ワープ因子は 4 次元側と内部空間で同じになります。
h_{μν}(y,x) の方程式が必要ですが、h_{μν}(y) ψ(x) と分離して、規格化条件を課す形が考えられます。
…
RL（強化学習）の初期段階から最終段階にかけて、思考プロセスは同じ連鎖を保っています。ただし、後期の RL における追跡データでは、「We need *to* understand」のような冠詞や接続詞が省略され、「We need determine」といった表現に変わりますが、依然として意味は通じ、同じ結論に至ります。
Inkling-Small#
Inkling と並行して、2760 億パラメータの Mixture-of-Experts モデル「Inkling-Small」のプレビューも公開します。アクティブなパラメータ数は 120 億（Inkling は 410 億）で、パフォーマンスとレイテンシのトレードオフが異なります。Inkling-Small は、より小さなモデル向けに事前学習データやレシピを改善した結果、多くのベンチマークにおいて大型版と同等かそれ以上の性能を発揮します。両モデルとも、同じスケーラブルなポストトレーニングスタックを共有しています。
| Inkling (effort=0.99) | Inkling-Small (Preview, effort=0.99) | |
|---|---|---|
| Reasoning | ||
| HLE (text only) | 29.7% | 29.6% |
| HLE (with tools) | 46.0% | 46.6% |
AIME 2026
97.1%
95.1%
GPQA Diamond
87.2%
88.3%
Agentic (コーディング)
SWEBench Verified
77.6%
77.4%
SWEBench ProPublic
54.3%
53.2%
Terminal Bench 2.1 Best Harness
63.8%*
52.7%
原文を表示
Our mission is to build AI that extends human will and judgment. We have developed a platform that lets anyone customize models, previewed an AI system built for interactive collaboration, and published novel research. Today we are advancing our mission by releasing a model we trained from scratch with the full weights available, so that people can make it their own.
Our model, called Inkling, is a Mixture-of-Experts transformer with 975B total parameters, 41B active. It supports a context window of up to 1M tokens. It was pretrained on 45 trillion tokens of text, images, audio and video. It is the first in a family of models of different sizes: alongside it we are sharing a preview of Inkling-Small, a lighter-weight model with 12B active parameters, trained with a similar recipe, that achieves strong performance with even lower cost and latency.
Inkling reasons natively over text, images, and audio, and balances cost with performance through efficient and controllable thinking effort. We trained it to be a broad, balanced foundation model: strong across many domains, flexible enough to adapt. Inkling is not the strongest overall model available today, open or closed. Instead, a combination of qualities makes it a good open-weights base for customization: multimodal capabilities, efficient thinking, and availability on Tinker for fine-tuning. Inkling is just the start: our first release in a model family we will continue to build on.
We want to make customization accessible for more use cases, so Inkling is available for fine-tuning on Tinker today. Picking the right base model to fine-tune is a qualitative judgment that combines measurable benchmarks with the unique feel of a model that comes from playing with it. To enable the latter we’re adding the Inkling Playground in the Tinker console: a developer-facing interface for chatting with Inkling.
To show what customization means in practice, we asked Inkling to fine-tune itself. Using Tinker, the model wrote its own fine-tuning job, ran it, and evaluated the result:
Capabilities#
Real-world applications require models with a wide range of capabilities that can be combined and improved with fine-tuning. We showcase what Inkling can do and how it measures up on important qualities such as trustworthiness and safety.
Generalist model#
Inkling is designed to be broad. We trained it across agentic, reasoning, coding, instruction-following, factuality, vision, and audio tasks, rather than narrowly optimizing for one domain. That breadth matters for customization and real-world use: different users need models that can adapt to very different workflows, not just excel on benchmarks.
Agentic coding and tool use#
A strong base for fine-tuning needs to flexibly solve a wide variety of tasks with agentic tool use. Inkling scores well among open-weights models on most agentic benchmarks.
We trained Inkling to run inside a variety of coding and agent harnesses, and we randomized the tool set and schema during training to reduce sensitivity to any particular one. Inkling’s controllable thinking effort, described in the next section, can be set from within the harness.
Below are a few demos showcasing Inkling’s agentic coding and tool use and the artifacts it creates.
One-shot web app with embedded browser use#
Inkling built a functional web app in a single shot, then powers an embedded AI assistant that can operate the web app interface through natural language instructions.
Design Arena#
Inkling was evaluated on Design Arena’s Agentic Web Dev leaderboard, where blinded human evaluators compare generated web apps head to head. It ranks among the strongest open-weights models.
Cohesively styled artifacts#
Inkling creates multi-page artifacts with precise instruction following, accurate information, and cohesive styling and design throughout.
Multiplayer game created through long refinement loop#
Inkling refined an online snake game through 40 iterations of feedback from GPT Codex serving as a reviewer. The ability to sustain a long process of refinement and improve from feedback is crucial to creating the best collaborative work.
Controllable thinking effort#
Test-time scaling and problem-solving are the core capability of every model, but that capacity is hard to capture with a single number. Developers fine-tuning models for a specialized task care as much about efficiency as about the max-effort performance on a public benchmark. Cost and latency are often binding constraints in real-world applications, and low latency in particular is crucial for enabling collaboration and improvement through iteration.
Inkling supports controllable thinking effort, allowing you to balance performance with token efficiency. The chart above shows the effort/performance curve of Inkling as well as other open-weights models on a range of benchmarks: Terminal Bench 2.1 for agentic coding, HLE for advanced reasoning, and IFBench for instruction following. Inkling spends one third as many tokens to achieve the same performance as Nemotron 3 Ultra on Terminal Bench. Cost and latency matter for a model that you run millions of times and as part of longer workflows; looking at the full cost curve allows developers to choose the best model for each use case.
Multimodality#
A major goal of Inkling’s design is to serve as the background reasoning model in the interaction models system we recently introduced. Interaction models enable the user to collaborate naturally, using voice and vision in real time. This requires a model natively trained for broad multimodal capabilities.
Open weights
Closed weights
Inklingeffort=0.99
Qwen3-Omni
Nemotron-3Nano-Omni
Kimi K2.5
Kimi K2.6
Qwen3.5Omni-Plus
Gemini 3.1 Pro(high)
Audio
Audio MC
56.6%
24.3%
23.2%
–
–
37.6%
66.8%
MMAU
77.2%
77.5%
76.7%
–
–
81.1%
82.5%
VoiceBench
91.4%
88.8%
89.4%
–
–
92.4%
94.3%
Vision
MMMU Pro
(Standard 10)
73.5%
60.0%
53.0%
75.0%
79.0%
71.0%
82.0%
Charxiv RQ
78.1%
61.1%
63.6%
77.5%
80.4%
72.5%
80.2%
Charxiv RQwith python
82.0%
–
–
78.7%
86.7%
–
89.9%
Audio and vision benchmarks against specialist omni models (open- and closed-weight), reported at effort=0.99.
The multimodal components were trained from scratch on general-domain data. We opted for an encoder-free architecture for audio and vision inputs, consistent with the interaction model design. Audio signals are input as dMel spectrogramsdMel: Speech Tokenization made Simple (Richard He Bai et al, 2024), while images are encoded as patches of 40x40 pixels using a four-layer hMLPThree things everyone should know about Vision Transformers (Hugo Touvron et al, 2022). Both are transformed via a light-weight embedding layer and processed jointly with text tokens.
Inkling transcribes speech, follows spoken instructions, answers questions about recordings, and reasons over longer-form audio. These capabilities place it among the strongest open-weights audio models on VoiceBench, MMAU, and AudioMC. For vision, Inkling accepts images as input and can describe visual content, answer questions, and perform in-depth reasoning based on the provided visual information. It demonstrates strong performance on charts, diagrams, and mathematical visual reasoning tasks. During inference, Inkling can also leverage a Python tool to support image understanding through operations such as zooming and cropping, while seamlessly integrating visual reasoning with code-based reasoning.
As our first release, Inkling establishes a robust multimodal foundation for future work. We expect its multimodal capabilities to continue improving as we expand the model and training pipeline in subsequent iterations.
Epistemics#
We trained Inkling for calibration, instruction following, and resistance to censorship, which we refer to collectively as the model’s *epistemics*.
Getting the facts right requires more than memorizing a large corpus of knowledge. A useful model must be well-calibrated, expressing the right amount of confidence in its answers — including on questions which aren’t yet settled. The latter is a crucial capability for prediction and forecasting, an important use case where fine-tuned models have shown rapid improvement in recent months, outperforming frontier LLMs.
InklingGPT-5.5Claude Opus 4.8Gemini 3.1 ProGrok 4.3Kimi K2.6
ForecastBenchBrier Index ↑ · no search61.1 ± 0.7959.1 ± 0.4154.6 ± 0.9961.1 ± 0.5661.7 ± 0.5458.1 ± 0.54
ForecastBenchBrier Index ↑ · with search63.7 ± 0.8264.7 ± 1.2858.6 ± 0.6664.3 ± 1.0563.2 ± 0.82–
Prophet ArenaBrier Score ↓0.16170.15980.16050.15940.17150.1675
Results were obtained during testing between June 30 and July 13, 2026 on a different checkpoint of Inkling than the one released.
Forecasting requires integrating multiple sources of information into a calibrated probability, a core skill for a model users can trust. A model that’s confident in every answer it gives, including when it’s missing info and confabulates, forces the user to double-check everything. A model that gives the appropriate measure of confidence is useful across more real-world domains where information is often conflicting, unreliable, or hard to find. We trained for calibration with RL against proper scoring rules on a large corpus of resolved real-world questions.
The second component of a trustworthy model is instruction following, including on hard-to-verify, complex queries. We did RL with two automated graders: a rubric grader and claims grader. The first grader scores each response against a checklist of what a good answer should contain. Rubrics can penalize errors in principle, but in practice they emphasize recall and can be hacked by models spraying plausibly relevant facts hoping to match rubric items. The claims grader verifies each factual claim in the response, penalizing claims that don’t check out. It performs agentic web search for claim verification, not relying solely on its own knowledge. Together, the two graders improve helpfulness and reduce hallucination at the same time, rather than trading one for the other.
These rewards don’t directly target calibrated uncertainty in long-form responses, so we added targeted datasets that do. The largest is short-form factual QA with abstention-aware rewards: answering only pays off when the model is likely to be right, so the optimal policy is to answer when confident and otherwise say “I don’t know” or give a hedged best guess. Some prompts encourage or forbid hedging, teaching the model to follow the user’s preference for a forced guess versus a calibrated non-answer.
Finally, we trained Inkling to answer directly on topics that may be subject to censorship. Cognition evaluated the model on their Propaganda and Censorship EvalThe Cognition Team, “Measuring the Trustworthiness of Open-Source-Derived Models,” 2026., and it exhibited strong patterns of censorship non-compliance.
Safety#
We trained Inkling to an internal spec of safe model behavior across all modalities. We then commissioned external safety testers to verify the results.
We evaluated Inkling’s safety in several areas. For dangerous capabilities — CBRN, cyber, and loss of control — we ran internal evaluations and enlisted external testers. We attended to human-AI threat vectors, including sycophancy, vulnerable users, and harmful manipulation, using internal evaluations and external testers.
Inklingeffort=0.99
Nemotron 3
Ultra
Kimi K2.5
Kimi K2.6
GLM 5.2
DeepSeek V4
Pro
FORTRESS (Adversarial)
78.0%
77.6%
54.1%
65.6%
71.3%
36.0%
FORTRESS (Benign)
95.9%
90.5%
98.3%
97.2%
90.0%
98.5%
StrongREJECT
98.6%
98.7%
99.5%
99.8%
98.5%
98.6%
Inkling shows the strongest built-in safeguards of any open-weights model we compared on FORTRESS, a benchmark that tests refusal of requests related to weapons and violence alongside benign look-alike queries. Inkling refused more harmful requests without over-refusing benign analogs. Inkling scores above 98% on StrongREJECT — a refusal test of unambiguous harmful requests — in line with other open and closed-weights models.
Safety is crucial for open-weights models. We’re continuing to study safety behavior and capability uplift in customizable models, including how safety behavior is impacted by fine-tuning on Tinker.
Benchmarking Inkling#
We benchmark Inkling on a broad range of capabilities. All evals are run at effort 0.99 and temperature 1.0. All coding evals run with 256K max-token trajectory limit.
To improve consistency, we rely on externally reported evaluations for both internal and external models when applicable. Specifically, we use the score reported by Artificial Analysis for the following evals: Humanity’s Last Exam, GPQA Diamond, GDPVal, Tau 3 Banking, AA Omniscience, MMMU Pro.
Open weights
Closed weights
Inklingeffort=0.99
Nemotron 3Ultra
Kimi K2.5
Kimi K2.6
GLM 5.2
DeepSeek V4Pro
Gemini 3.1 Pro(high)
Claude Fable 5(max)
GPT 5.6 Sol(max/xhigh)
Reasoning
HLEtext only
29.7%
26.6%
29.4%
35.9%
40.1%
35.9%
44.7%
53.3%
47.2%
HLEwith tools
46.0%
37.4%
50.2%
54.0%
54.7%
48.2%
51.4%
64.5%
55.0%
AIME 2026
97.1%
94.2%
95.8%
96.4%
99.2%
96.7%
98.3%
99.9%
99.9%
GPQA Diamond
87.2%
86.7%
87.9%
91.1%
89.5%
88.8%
94.1%
92.6%
94.1%
Agentic (coding)
SWEBench Verified*
77.6%
70.7%
76.8%
80.2%
80.0%
80.6%
80.6%
95.0%
82.2%
SWEBench ProPublic
54.3%
46.4%
50.7%
58.6%
62.1%
55.4%
54.2%
80.0%
64.6%
Terminal Bench 2.1*Best Harness
63.8%
56.4%
51.3%
71.3%
82.7%
64%
73.8%
84.6%
89.5%
Agentic (general)
GDPVal-AA v2
1238
1164
1009
1190
1514
1307
962
1760
1748
MCP Atlas
74.1%
44.7%
64.0%
68.1%
77.8%
73.2%
78.2%
83.3%
81.8%
Tau 3 Banking
23.7%
13.8%
14.2%
20.6%
26.8%
25.8%
16.5%
26.8%
33.0%
BrowseCompw/ ctx management
77.1%
–
74.9%
83.2%
–
83.4%
85.9%
88.0%
90.84%
Factuality
SimpleQA Verified
43.9%
32.4%
36.9%
38.7%
38.1%
57.0%
77.3%
68.3%
71.6%
AA Omniscience
2.1
-1.0
-8.0
6.0
4.0
-10.0
33.0
40.0
22.0
Chat
IFBench
79.8%
81.4%
70.2%
76.0%
73.3%
76.5%
77.1%
63.5%
72.7%
Global-MMLU-Lite
88.7%
85.6%
84.0%
88.4%
89.2%
89.3%
92.7%
93.3%
91.8%
Vision
MMMU ProStandard 10
73.5%
–
75.0%
79.0%
–
–
82.0%
84.2%
83.0%
Charxiv RQ
78.1%
–
77.5%
80.4%
–
–
80.2%
86.5%
84.7%
Charxiv RQ†with python
82.0%
–
78.7%
86.7%
–
–
89.9%
89.4%
87.8%
Audio
Audio MC†
56.6%
–
–
–
–
–
66.8%
–
–
MMAU
77.2%
–
–
–
–
–
82.5%
–
–
VoiceBench†
91.4%
–
–
–
–
–
94.3%
–
–
Safety
FORTRESSAdversarial
78.0%
77.6%
54.1%
65.6%
71.3%
36.0%
65.2%
96.0%
82.4%
FORTRESSBenign
95.9%
90.5%
98.3%
97.2%
90.0%
98.5%
98.0%
55.1%
98.1%
StrongREJECT
98.6%
98.7%
99.5%
99.8%
98.5%
98.6%
98.0%
98.7%
98.5%
*SWEBench Verified: Inkling numbers are reported using a bash-only harness. We use self-reported numbers for external models.*Terminal Bench 2.1: Inkling numbers are reported using an internal coding harness. A small number of solutions were found to be contaminated from web search and were assigned a score of 0. We use self-reported numbers for external models where available. Otherwise, we report performance using our internal harness.†Audio MC: Other models were evaluated internally since they are not on the official leaderboard.†VoiceBench: VoiceBench uses rule-based, hard-coded string matching for grading, making the evaluation sensitive to output-formatting differences. We therefore added a system message instructing models to follow the expected answer format.†CharXiv RQ with tools: We benchmarked Claude Fable 5 and GPT 5.6 Sol (max/xhigh) using our internal Python harness.
The making of Inkling#
Architecture#
Inkling is a Mixture-of-Experts Transformer with a handful of departures from the common recipe, each chosen for efficiency and long-context performance.
The MoE design largely follows DeepSeek-V3. Each MoE layer contains 256 routed experts and 2 shared experts, with 6 routed experts active per token. Inkling uses a sigmoid-based router with an auxiliary-loss-free load-balancing bias. The scores of the selected routed experts and the shared experts are normalized jointly and used to weight their combined outputs.
For attention, we interleave sliding-window and global layers at a 5:1 ratio with 8 KV heads. We find that encoding position with a relative positional embeddingSelf-Attention with Relative Position Representations (Peter Shaw et al, 2018)Music Transformer (Cheng-Zhi Anna Huang et al, 2018) performs better and extrapolates better to longer sequences than the more widely adopted Rotary Positional Embedding (RoPE). We also apply short convolutions at two points — after the key and value projections in each attention layer, and on the attention and MLP residual branch outputs before they rejoin the main residual stream.
Training#
Inkling was pretrained on 45 trillion tokens from a variety of content types, including text, images, audio and video. We trained Inkling with a hybrid optimization strategy — Muon for large matrix weights, Adam for other parameters — and hyperparameter schedules inspired by our previous research on modular manifolds. We coupled the weight decay strength to the square of the learning rate, which we found kept the overall size of the model weights stable across training horizonsSee also Kosson et al. (2023) and Defazio (2025)..
We post-trained Inkling on a broad distribution of math, agentic code & tool use, audio, image, chat, and safety domains. To bootstrap post-training, we ran an initial SFT on synthetic data generated by open-weights models including Kimi K2.5. The bootstrap accounts for a small fraction of compute, with the majority being employed for large-scale RL on synthetic and human-created environments.
Inkling was our first major training effort and was trained on NVIDIA GB300 NVL72 systems. Future models will further push the scale of compute across pre-training, post-training and RL.
RL at scale#
We relied on large-scale asynchronous RL to shape model behavior and improve its reasoning and overall performance. The chart below shows the model’s score on a held-out aggregate of reasoning evals such as AIME, HLE, GPQA, and others. We scaled RL to over 30M rollouts, with stable training sustained over two long continuous runs. Reasoning performance improved log-linearly throughout the entire process, resulting in a significant increase overall.
We specified the model’s effort level on different samples by changing the system message and adjusting the per-token cost. This caused the model to use a different amount of tokens in different rollouts and learn the ability to control thinking effort.
We also observed an emergent shift in the reasoning style over the course of RL training. The chain of thought became more concise over time, dropping grammatical overhead while remaining comprehensible and leaving the final response unaffected. This wasn’t targeted by the reward — efficiency alone drove the compression. A similar effect was also recently noted by the Cognition team in the process of training SWE-1.7The Cognition Team, “SWE-1.7: Frontier Intelligence at a Fraction of the Cost.". Below is an example of how Inkling’s chain of thought on the same math problem evolved with RL:
Inkling-Small#
Alongside Inkling we are sharing a preview of Inkling-Small, a 276B-parameter Mixture-of-Experts model (12B active, vs. 41B for Inkling) with a different performance/latency trade-off. Inkling-Small matches or exceeds its larger sibling on many benchmarks — the result of improvements we made to the pre-training data and recipe for the smaller model. The two models share the same scalable post-training stack applied on top.
Inklingeffort=0.99
Inkling-Small(Preview)effort=0.99
Reasoning
HLEtext only
29.7%
29.6%
HLEwith tools
46.0%
46.6%
AIME 2026
97.1%
95.1%
GPQA Diamond
87.2%
88.3%
Agentic (coding)
SWEBench Verified
77.6%
77.4%
SWEBench ProPublic
54.3%
53.2%
Terminal Bench 2.1Best Harness
63.8%*
52.7%
関連記事
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み