Thinking Machines が初のオープンモデル「Inkling」発表

私たちのミッションは、人間の意志と判断を拡張する AI を構築することです。これまで私たちは、誰でもモデルをカスタマイズできるプラットフォームを開発し、対話型コラボレーションに特化した AI システムのプレビューを発表し、新たな研究成果も公開してきました。

そして今日、私たちは自らのミッションをさらに前進させるため、ゼロからトレーニングしたモデルをフルウェイトで公開します。これにより、誰もが自分好みにモデルを調整できるようになります。

このモデル「Inkling」は、9750 億パラメータ（うち 410 億がアクティブ）を持つ Mixture-of-Experts トランスフォーマーです。最大 100 万トークンのコンテキストウィンドウをサポートし、テキスト、画像、音声、動画からなる 45 兆トークンで事前学習されました。

これは異なるサイズのモデル群の最初の製品であり、同時に軽量版「Inkling-Small」のプレビューも公開します。アクティブパラメータは 120 億で、同様のトレーニング手法を採用しており、より低コストかつ低遅延で強力なパフォーマンスを発揮します。

Inkling はテキスト、画像、音声に対してネイティブに推論を行い、効率的で制御可能な思考プロセスを通じてコストと性能のバランスを実現します。私たちはこのモデルを、多様なドメインで高い能力を発揮し、柔軟に適応できる広範かつバランスの取れた基盤モデルとして訓練しました。Inkling は現在利用可能なオープンソース・クローズドソースを問わず最強のモデルではありませんが、マルチモーダル対応、効率的な思考機能、そして Tinker 上でのファインチューニングの容易さという組み合わせにより、カスタマイズに適した優れたオープンウェイトベースとなっています。これは私たちのモデルファミリーにおける最初のリリースに過ぎず、今後も継続して発展させていく予定です。

より多くのユースケースでカスタマイズを可能にするため、Inkling は本日 Tinker 上でファインチューニングが利用可能です。適切なベースモデルを選ぶことは、数値的なベンチマークと、実際に触ってみて感じるモデルの特性を組み合わせた質的判断が必要です。後者の感覚を育むために、Tinker コンソールに「Inkling Playground」を追加しました。これは開発者向けに Inkling とチャットできるインターフェースです。

カスタマイズの具体的な意味を示すため、私たちは Inkling に自らファインチューニングを行うよう依頼しました。Tinker を使用し、モデル自身がファインチューニングジョブを記述して実行し、その結果を評価します。

Build · inkling · tinker-prod

~/news/introducing-inkling/

1.33.7

*start in OpenCode: Inkling runs inside the OpenCode harness.*

機能と能力

実世界での活用には、多様な機能を備え、ファインチューニングによって組み合わせや改良が可能なモデルが必要です。ここでは Inkling が持つ能力と、信頼性や安全性といった重要な品質においてどのように評価されるかをご紹介します。

ジェネラリスト（汎用）モデル

Inkling は幅広い用途を想定して設計されています。特定のドメインに特化して最適化するのではなく、エージェントタスク、推論、コーディング、指示の遵守、事実性、ビジョン、音声処理など多岐にわたる分野でトレーニングを行いました。この広範な能力は、カスタマイズ性と実世界での活用において重要です。異なるユーザーは、ベンチマークで高いスコアを出すだけでなく、非常に異なるワークフローに適応できるモデルを必要としているからです。

Inkling、Nemotron 3 Ultra、GLM 5.2、GPT 5.6 Sol、Claude Fable の 10 項目の評価（0〜100 スコア）を比較したスパイダーチャート。Inkling は太いコバルト色の線で表示されています。モデルスコアが報告されていない評価はゼロとしてプロットされています。各評価項目にカーソルを合わせると、全モデルのスコアを比較できます。

「インクリング」は、バランスの取れた広範な一般化モデルです。ベンチマークスコアは共通の 0–100 スケールで示されており、数値が高いほど優れています。この結果は、特定のベンチマークファミリーに特化した最適化ではなく、テキスト、エージェント機能、マルチモーダル、音声評価のすべてにおいて競争力のあるパフォーマンスを示しています。この広範な能力こそが、インクリングが目指す役割を反映したものです。つまり、ドメインやワークフロー、製品を超えてカスタマイズ可能な実用的なマルチモーダル基盤モデルです。

エージェントによるコーディングとツール利用#

微調整の基礎となる強力なモデルには、エージェントとしてのツール活用を通じて多様なタスクを柔軟に解決する能力が必要です。インクリングは、オープンウェイトモデルの中で、ほとんどのエージェントベンチマークにおいて高いスコアを獲得しています。

私たちは、インクリングがさまざまなコーディングおよびエージェント環境で動作するようにトレーニングを行いました。また、特定のツールセットやスキーマへの依存度を下げるため、トレーニング中にツールセットとスキーマをランダム化しました。次節で詳述する「制御可能な思考努力」は、この環境内から設定可能です。

以下に、インクリングのエージェントによるコーディング能力とツール利用、そして生成された成果物のデモをいくつか紹介します。

埋め込みブラウザ機能を持つワンショットの Web アプリ#

インクリングは、ワンショットで機能的な Web アプリを構築し、さらにその中に組み込まれた AI アシスタントを駆動します。このアシスタントは自然言語の指示を通じて、Web アプリのインターフェースを操作することができます。

2 つ目のタブにあるプロンプトから、求人情報入力用 Web アプリをインクリングが生成し、ブラウザ使用エージェントが保存されたプロフィール情報に基づいてフォームに入力します。

Design Arena#

インクリングは、Design Arena の「Agentic Web Dev リーダーボード」で評価されました。このリーダーボードでは、盲検化された人間の評価者が生成された Web アプリを直接比較します。その結果、インクリングは最も強力なオープンウェイトモデルの一つとしてランクされています。

Claude Sonnet 5

Claude Fable 5

Claude Opus 4.8

GLM 5.2

Grok 4.5

GPT-5.6 Sol

Inkling

Claude Opus 4.6

Gemini 3.5 Flash

Kimi K2.6

Claude Sonnet 4.6

Kimi K2.7 Code

GLM 5.1

Claude Opus 4.5

Grok 4.20 Reasoning

Gemini 3.1 Pro Preview

Grok 4.3

Kimi K2.5 (Thinking)

*インクリングの Design Arena「Agentic Web Dev リーダーボード」における位置。これは生成されたアプリに対する盲検化された人間の評価です。ドットはオープンウェイトモデルを示します。

一貫性のあるスタイルのアーティファクト#

インクリングは、指示への正確な対応と情報の正確さを保ちつつ、多ページにわたるアーティファクトを生成します。また、全体を通じて一貫したスタイルとデザインを実現しています。

*2 つ目のタブのプロンプトから、インクリングは洗練された 9 ページの PDF「食と旅のジャーナル」を作成しました。実際のドキュメントは上記をご覧ください。

長期の改良ループを経て作成されたマルチプレイヤーゲーム#

Inkling は、レビューアーとして機能する GPT Codex からのフィードバックを 40 回繰り返しながらオンラインの蛇ゲームを改良しました。長い改善プロセスを維持し、フィードバックから学習して進化させる能力は、最高の共同作業成果を生み出すために不可欠です。

*2 つ目のタブにあるプロンプトから Inkling が生成したマルチプレイヤー版の蛇ゲーム — リアルタイムサーバー、ボット、リーダーボードなどすべて含まれています。*

制御可能な思考コスト#

テスト時のスケーリングと問題解決能力はすべてのモデルの中核機能ですが、これを単一の数値で表現するのは困難です。特定のタスク向けにモデルをファインチューニングする開発者は、パブリックベンチマークでの最大努力性能だけでなく、効率性にも同等の関心を持っています。コストとレイテンシは実世界アプリケーションにおいてしばしば制約となり、特に低レイテンシは反復を通じたコラボレーションと改善を可能にするために極めて重要です。

Inkling (effort sweep)

GLM-5.2

Kimi K2.6

Nemotron 3 Ultra

Kimi K2.5

GPT-OSS (high)

Inkling の思考努力度（effort）を 0.2 から 0.99 まで変化させた際の性能を、Terminal Bench 2.1、HLE、IFBench 上の生成トークン数に対してプロットしたものが以下のグラフです。比較対象となる他モデルはデフォルト設定での結果を示しています。Inkling は、より少ないトークンで目標スコアに到達します。例えば Terminal Bench 2.1 では、Nemotron 3 Ultra と同等の性能を達成するのに必要なトークン数は約 3 分の 1 です。Humanity's Last Exam のスコアは、最終リリース前のチェックポイントに基づくもので、最終版よりやや低めの値となっています。

Inkling は制御可能な思考努力度をサポートしており、パフォーマンスとトークン効率のバランスを調整できます。上記グラフは、Inkling と他のオープンウェイトモデルが、エージェントによるコーディング向けの Terminal Bench 2.1、高度な推論向けの HLE、指示従順性の IFBench など、さまざまなベンチマークで示す努力度と性能の関係を示しています。Terminal Bench では、Nemotron 3 Ultra と同等の性能を達成するために必要なトークン数が約 3 分の 1 です。モデルを数百万回実行したり、より長いワークフローの一部として利用する際、コストとレイテンシは重要な要素です。フルコストカーブを確認することで、開発者は各ユースケースに最適なモデルを選択できます。

マルチモーダル性#

インクリング（Inkling）の設計における主要な目標の一つは、私たちが最近発表した「インタラクションモデルシステム」において背景推論モデルとして機能することです。インタラクションモデルにより、ユーザーは音声と視覚をリアルタイムで活用し、自然に協働することが可能になります。これを実現するには、広範なマルチモーダル能力をネイティブに備えたモデルが不可欠です。

専門的なオムニモデル（オープン・クローズドウェイト双方）とのオーディオおよびビジョンベンチマークの結果を、努力度 0.99 の条件下で報告します。

マルチモーダルコンポーネントは、一般領域のデータからゼロからトレーニングされました。インタラクションモデルの設計に合わせ、オーディオとビジョンの入力にはエンコーダーフリーアーキテクチャを採用しています。オーディオ信号は dMel スペクトログラムdMel: Speech Tokenization made Simple（Richard He Bai 他、2024）として入力され、画像は 4 層の hMLPThree things everyone should know about Vision Transformers（Hugo Touvron 他、2022）を用いて 40x40 ピクセルのパッチとしてエンコードされます。これらは軽量な埋め込み層を経て変換され、テキストトークンと同時に処理されます。

Inkling は音声の文字起こしを行い、話された指示に従い、録音内容に関する質問に答え、長尺のオーディオに対して推論を行います。これらの機能により、VoiceBench、MMAU、AudioMC においてオープンウェイトのオーディオモデルの中で最強クラスの性能を誇ります。ビジョンにおいては、画像を入力として受け付け、視覚コンテンツの説明や質問への回答、提供された視覚情報に基づく詳細な推論が可能です。チャート、図表、数学的な視覚推論タスクにおいても高いパフォーマンスを発揮します。推論時には Python ツールを活用し、ズームや切り抜きなどの操作を通じて画像理解を支援するとともに、視覚的推論とコードベースの推論をシームレスに統合できます。

最初のリリースとして、Inkling は将来の取り組みを支える堅牢なマルチモーダル基盤を確立しました。モデルとトレーニングパイプラインを後続のイテレーションで拡張するにつれ、そのマルチモーダル能力はさらに向上していくことを期待しています。

認識論 #

Inkling は、校正（calibration）、指示の遵守、そして検閲への耐性のためにトレーニングされました。これらを総称して「モデルの認識論」と呼んでいます。

正確な事実を伝えるためには、膨大な知識 corpus を単に暗記するだけでは不十分です。有用なモデルは適切に校正されている必要があります。つまり、回答に対して適切な自信を示す能力が求められるのです。未解決の問題に対する回答においても同様です。これは予測や将来予測において極めて重要な能力であり、ここ数ヶ月で 微調整されたモデルが急速に改善 している重要なユースケースでもあります。最近では、最先端の LLM を上回る 成果も出ています。

結果は、リリースされたバージョンとは異なる Inkling のチェックポイントを用いて、2026 年 6 月 30 日から 7 月 13 日のテスト期間中に得られました。

予測には、複数の情報源を統合して確率に落とし込む能力が求められます。これはモデルへの信頼性を支える中核的なスキルです。もしモデルが、情報を欠いている場合や事実と異なる回答（コンファビュレーション）をする場合でも、すべての答えに対して過剰な自信を示すなら、ユーザーはすべての回答を二重確認せざるを得なくなります。一方、適切な自信度合を示せるモデルは、情報が対立したり信頼性が低かったり、入手が困難だったりする現実の多様な領域で有用です。私たちは、解決済みの実世界の問題に関する大規模なデータセットを用いて、適正スコアリング則に基づいた強化学習（RL）を通じて、この「確信度の調整」を学習させました。

信頼できるモデルのもう一つの要素は、検証が難しい複雑なクエリに対する指示の遵守です。私たちは 2 つの自動採点者を用いて強化学習を行いました。1 つ目はルールの採点者で、良い回答に含まれるべき項目のチェックリストに基づいて各回答を評価します。ルールベースの評価は原則として誤りを減らせますが、実際には「 recall（想起率）」に重点が置かれやすく、モデルが関連しそうな事実を羅列して採点基準に合致させようとする手口で回避されてしまうリスクがあります。2 つ目は主張の採点者で、回答内の各事実に基づく主張を検証し、誤った主張にはペナルティを与えます。この採点者は、自身の知識だけに頼らず、エージェントとしてのウェブ検索を実行して事実確認を行います。この 2 つの採点者を組み合わせることで、有用性の向上とハルシネーション（幻覚）の低減を両立させることが可能になります。

これらの報酬は、長文回答における較正された不確実性（calibrated uncertainty）に直接焦点を当てているわけではないため、私たちはそれに特化したデータセットを追加しました。その中でも最大規模のものは、「短問答形式で、拒絶可能性を意識した報酬」です。これは「モデルが正しいと判断される場合のみ回答が評価対象となる」というルールに基づいています。つまり、最適な行動方針は、自信がある場合は回答し、そうでない場合は「わかりません」と答え、あるいは確度を示しながら最善の推測を提示することです。

一部のプロンプトでは、推測（hedging）を促したり禁止したりすることで、ユーザーが「無理な推測」を求める場合と「較正された非回答」を求める場合の両方の嗜好にモデルが従うよう学習させます。

最後に、検閲の対象となりうるトピックについても、インクリングは直接的に回答するように訓練しました。コグニション（Cognition）チームは、彼らの「プロパガンダと検閲評価（Propaganda and Censorship Eval）」においてこのモデルを検証しましたが、その結果、強い検閲非遵守のパターンが確認されました。

セーフティ

インクリングは、あらゆるモダリティにわたる安全なモデル行動の内部仕様に基づいて訓練しました。その後、外部のセーフティテスターを委嘱して結果を検証させました。

私たちは、インクリングの安全性をいくつかの領域で評価しました。危険な機能（CBRN：化学・生物・放射能・核兵器、サイバー攻撃、制御喪失）については、内部での評価を実施し、外部テスターも招致しました。また、人間と AI の間の脅威ベクトル、すなわち迎合性（sycophancy）、脆弱なユーザーへの対応、有害な操作などについても、内部評価と外部テスターを活用して注意を払いました。

FORTRESS は、武器や暴力に関連するリクエストの拒否能力と、それに似た无害なクエリに対する対応をテストするベンチマークです。この FORTRESS での比較において、Inkling はオープンウェイトモデルの中で最も強力な組み込みセキュリティ機能を示しました。有害なリクエストに対しては適切に拒絶し、一方で无害な類似クエリまで過剰に拒絶することはありませんでした。また、明確に有害なリクエストに対する拒否能力をテストする StrongREJECT では 98% を超えるスコアを獲得しており、他のオープンウェイトモデルやクローズドウェイトモデルと同等の性能を示しています。

オープンウェイトモデルにおいて安全性は極めて重要です。私たちは、カスタマイズ可能なモデルにおける安全性の挙動や機能向上についても研究を続けており、特に Tinker でのファインチューニングが安全性の挙動にどのような影響を与えるかについても調査を進めています。

Inkling のベンチマーク #

Inkling は多岐にわたる能力についてベンチマークを実施しています。すべての評価は、effort 0.99、temperature 1.0 の条件下で実行されました。コード関連の評価では、最大トークン数 256K のトラジェクトリ制限を設けています。

一貫性を高めるため、内部モデルおよび外部モデルの両方について、該当する場合は外部が報告した評価結果を採用しています。具体的には、以下の評価項目については Artificial Analysis が報告したスコアを使用します：Humanity's Last Exam、GPQA Diamond、GDPVal、Tau 3 Banking、AA Omniscience、MMMU Pro。

SWEBench 検証：インクリングのスコアは Bash のみで構成されたハーンネスを用いて報告されています。外部モデルについては自己申告の数値を使用しています。

Terminal Bench 2.1：インクリングのスコアは内部のコーディングハーンネスによって報告されています。ウェブ検索による汚染が確認された少数の解答にはスコア 0 を付与しました。外部モデルについては、利用可能な場合は自己申告数値を採用します。それ以外の場合は、当社の内部ハーンネスを用いて性能を報告しています。

† Audio MC：公式リーダーボードにないため、他のモデルは内部評価を行いました。

† VoiceBench：VoiceBench は採点にルールベースのハードコードされた文字列マッチングを使用しているため、出力フォーマットの差異に対して評価が敏感になります。そのため、期待される回答形式に従うよう指示するシステムメッセージを追加しました。

† CharXiv RQ with tools：Claude Fable 5 および GPT 5.6 Sol (max/xhigh) を内部の Python ハーンネスでベンチマークしました。

Inkling の開発背景#

アーキテクチャ#

Inkling は、Mixture-of-Experts Transformer であり、一般的な設計からいくつかの点で異なっています。これらの変更はすべて、効率性と長いコンテキストでのパフォーマンスを向上させるために選ばれたものです。

MoE 設計は DeepSeek-V3 に大きく準拠しています。各 MoE レイヤーには 256 のルーティング専門エクスパートと 2 つの共有エクスパートが含まれ、トークンごとに 6 つのエクスパートがアクティブになります。Inkling は、負荷分散バイアスを伴わないシグモイドベースのルーターを使用しています。選択されたルーティング専門エクスパートと共有エクスパートのスコアは結合して正規化され、それらの出力を重み付けするために用いられます。

アテンションについては、スライディングウィンドウ層とグローバル層を 5:1 の比率で交互に配置し、KV ヘッドを 8 つ使用します。相対位置埋め込み Self-Attention with Relative Position Representations (Peter Shaw et al, 2018)Music Transformer (Cheng-Zhi Anna Huang et al, 2018) を用いて位置を符号化することで、より広く採用されている回転位置埋め込み（RoPE）よりも性能が向上し、より長いシーケンスへの外挿も優れていることが分かりました。また、アテンション層内のキーとバリュー投影の後、およびアテンションと MLP の残差ブランチ出力がメインの残差ストリームに再結合する前に、2 箇所で短い畳み込みを適用しています。

トレーニング#

Inkling は、テキスト、画像、音声、動画など多様なコンテンツタイプから 45 トリリオントークンで事前学習を行いました。大行列重みには Muon を、その他のパラメータには Adam を用いるハイブリッド最適化戦略と、過去の モジュラー・マニフォールド に関する研究に基づいたハイパーパラメータスケジューリングを採用しました。また、重みの減衰強度を学習率の二乗に連動させることで、トレーニング期間を通じてモデル全体の重みサイズが安定することを確認しています。詳細は Kosson et al. (2023) および Defazio (2025) をご参照ください。

Inkling は、数学、エージェントによるコード実行とツール利用、音声、画像、チャット、安全性など幅広いドメインでポストトレーニングを行いました。ポストトレーニングの初期段階では、Kimi K2.5 などのオープンウェイトモデルが生成した合成データを用いた初期 SFT（教師あり微調整）を実施しました。このブートストラッププロセスは計算リソースのごく一部のみを使用し、大半の計算資源は合成環境と人間が作成した環境における大規模な強化学習に投入されました。

Inkling は当社の最初の主要なトレーニングプロジェクトであり、NVIDIA GB300 NVL72 システム上で訓練されました。今後のモデルでは、事前学習、ポストトレーニング、強化学習の各段階において、さらにスケールした計算リソースを推進していく予定です。

スケールする強化学習#

モデルの振る舞いを形成し、推論能力と全体的なパフォーマンスを向上させるために、大規模な非同期強化学習（RL）を活用しました。以下のチャートは、AIME、HLE、GPQA などを含む保持された推論評価セット全体におけるモデルのスコアを示しています。RL のスケーリングは 3,000 万ロールアウトを超え、2 回の長期間にわたる連続トレーニングで安定した学習を実現しました。その過程を通じて推論性能は対数線形的に向上し、結果として全体の大幅な改善につながりました。

*保持された推論評価セット（AIME、HLE、GPQA など）における報酬は、SFT 初期化からリリース済みチェックポイントに至るまで、3,000 万回を超える RL ロールアウトを通じて対数線形的に向上しています。

モデルの試行レベルを異なるサンプル間で調整するため、システムメッセージを変更し、トークンあたりのコストを最適化しました。これにより、モデルは各ロールアウトで使用するトークン数を動的に変え、思考にかかる努力を制御する能力を習得しました。

また、強化学習（RL）トレーニングの過程において、推論スタイルに突発的な変化が生じることも観察されました。思考連鎖（chain of thought）は時間とともにより簡潔になり、文法的な冗長性を削ぎ落としつつも理解可能であり、最終的な回答には影響を与えていません。これは報酬によって意図的に狙われたものではなく、効率化のみが圧縮を駆動した結果です。同様の効果は、Cognition チームが SWE-1.7 のトレーニングを行う際にも最近報告されています。

以下に、同じ数学問題に対する Inkling の思考連鎖が RL によってどのように進化していくかの例を示します。

RL 初期：冗長で文法的

演算子を理解する必要があります。

5D 線要素は ds² = e^{2A(x)} (ds²_4d + dx²) です。ここで A(x) = sin(x) + 4 cos(x)、x は [0, 2π] の範囲です。

内部座標は周期的です。

背景は歪んだ積（warped product）であり、計量 g_{MN} は M,N = 0..4 です。

内部方向の計量は e^{2A(x)} dx² ですか？

待ってください、ds² は e^{2A} (ds²_4d + dx²) です。

つまり内部計量は e^{2A(x)} dx² です。

実際、全体の計量が ds² = e^{2A(x)} (ds²_4d + dx²) なら、はい、内部計量は e^{2A} dx² です。

…

RL 後期：圧縮され、電信風

スピン-2 の揺らぎ h_{μν}(x,y) に対する固有値問題の決定が必要です。これは TT（トランスバーサル・トレースレス）条件を満たし、4 次元で定義され x に依存するものです。

計量の形式は ds² = e^{2A(x)} (g_{μν}(y) + h_{μν}(y,x)) dy^μ dy^ν + e^{2A(x)}? 内部計量は e^{2A} dx² でしょうか？

実際には、ds² = e^{2A} [ds_4² + dx²] です。つまり内部計量は e^{2A} dx² であり、ワープ因子は 4 次元側と内部側で共通です。

h_{μν}(y,x) の方程式が必要ですが、h_{μν}(y) ψ(x) のような形になり、正規化条件も含まれるかもしれません。

…

*この思考の連鎖は、強化学習（RL）の初期段階から最終段階まで一貫しています。後期の RL トレースでは「理解する必要がある」といった冠詞や接続詞が省略され、「決定が必要だ」のような簡潔な表現になりますが、依然として意味は通じ、同じ結論に至ります。

Inkling-Small#

Inkling と併せて、Inkling-Small のプレビューも公開します。これは 2760 億パラメータの Mixture-of-Experts モデル（アクティブパラメータは 120 億で、Inkling の 410 億に対し少ない）であり、パフォーマンスとレイテンシのトレードオフが異なります。Inkling-Small は多くのベンチマークにおいて、その大型版に匹敵するかそれ以上の性能を発揮します。これは小型モデル向けの事前学習データとレシピを改善した結果です。両モデルは、同じスケーラブルなポストトレーニングスタックを共有しています。

Inklingeffort=0.99

Inkling-Small(Preview)effort=0.99

Reasoning

HLEtext only

29.7%

29.6%

HLEwith tools

46.0%

46.6%

AIME 2026

97.1%

95.1%

GPQA Diamond

87.2%

88.3%

Agentic (coding)

SWEBench Verified

77.6%

77.4%

SWEBench ProPublic

54.3%

53.2%

Terminal Bench 2.1 ベスト・ハッチ

63.8%*

52.7%