Thinking Machines Lab が超大規模マルチモーダルモデル「Inkling」公開

Thinking Machines Lab が、ゼロから独自に開発した最初のモデル「Inkling」を公開しました。重みはオープンソース化され、Tinker 上で微調整も可能です。同ラボはこのモデルを、ユーザーが自由にカスタマイズするための基盤として位置付けています。

Inkling とは何か？

Inkling は、総パラメータ数 9750 億（975B）、アクティブに動作するパラメータ数が 410 億（41B）の Mixture-of-Experts（MoE）型トランスフォーマーです。最大 100 万トークンまでのコンテキストウィンドウをサポートしており、事前学習では 45 兆トークンのテキスト、画像、音声、動画データを使用しました。入力にはテキスト、画像、音声が利用可能ですが、出力は UTF-8 形式のテキストのみとなります。

研究チームはまた、総パラメータ数 2760 億（276B）、アクティブ数が 120 億（12B）の「Inkling-Small」も公開しました。この小型モデルは、多くのベンチマークにおいて大型版と同等かそれ以上の性能を発揮します。重みはテスト完了後に公開される予定です。カスタマイズや微調整が同モデルの最大の差別化要因であるため、アーキテクチャの設計は極めて重要です。

アーキテクチャの詳細

このモデルのアーキテクチャは、66 層のデコーダー専用トランスフォーマーに、スパースな MoE フィードフォワードバックボーンを組み合わせたものです。各 MoE レイヤーには、256 のルーティングエクスパートと 2 つの共有エクスパートが用意されています。トークンごとに 6 つのエクスパートが選択され、共有エクスパートはすべてのトークンで活性化します。選択処理にはシグモイド関数に基づくルーターを採用し、追加損失なしで負荷分散を行うバイアスを利用しています。ルーティングスコアと共有スコアは統合的に正規化された後、結合出力の重み付けに用いられます。MoE の設計全体は DeepSeek-V3 に大きく準拠しています。

アテンション機構は従来の常識から一歩踏み出しています。スライディングウィンドウ層とグローバル層を 5:1 の比率で交互に配置し、KV ヘッド数は 8 に設定しました。位置埋め込みには RoPE を採用せず、相対位置埋め込みを採用。これにより、同ラボが報告する通り、外挿性能の向上が期待できます。キーとバリューの投影後、および残差ブランチの出力には短い畳み込み層を適用しています。

マルチモーダル処理ではエンコーダーは不要です。音声は dMel スペクトログラムとして入力され、画像は 40×40 ピクセルのパッチに分割された上で、4 層の hMLP を通過します。これら両方を軽量な埋め込み層で投影した後、デコーダーがテキストトークンと共に統合処理を行います。

トレーニングには NVIDIA GB300 NVL72 システムを使用し、大規模行列重みには Muon オプティマイザを、その他のパラメータには Adam を採用しました。ポストトレーニングは合成データによる SFT（教師あり微調整）からスタート。生成されたデータには Kimi K2.5 が作成したものも含まれています。計算資源の大半は非同期 RL（強化学習）に投入され、ロールアウト数は 30M を超える規模まで拡張。対数線形的な性能向上が確認されました。この RL ランにより、モデルの主要な制御インターフェースも実現されています。

思考の制御可能化

強化学習（RL）の実施中、研究チームはシステムメッセージの変更やトークンあたりのコスト調整を通じて「思考の努力度」を設定しました。その結果、モデルは異なるロールアウトに対して異なるトークン予算を割り当てることを学習しました。今回のリリースでは、0.2 から 0.99 の範囲で努力度をスキャン可能であり、ハーン（harness）側でも直接値を設定できます。トランスフォーマーアーキテクチャにおいては、この制御機能は「reasoning_effort」という引数として、名前付きのレベルで公開されています。

効率性に関するデータは非常に具体的です。Terminal Bench 2.1 で同等のパフォーマンスを発揮する場合、Inkling が消費するトークン数は Nemotron 3 Ultra の約 3 分の 1 です。コストとレイテンシはモデルごとに固定されるのではなく、呼び出し単位で調整可能になりました。

努力度の制御に加え、研究チームは信頼性（trustworthiness）の向上にも直接取り組んでいます。

パフォーマンス評価

すべての Inkling の評価実験は、努力度 0.99、温度 1.0 で実施され、コーディング関連の評価では 256K トークンの軌道長制限を設けています。一部のスコアは Artificial Analysis によって外部検証されています。

オープンウェイトの競合モデルと比較すると、その競争力は非常に高いものとなっています。

FORTRESS Adversary ベンチマークにおいて、Inkling は 78.0% のスコアを記録し、オープンウェイトモデル群で首位に立っています。一方、Terminal Bench 2.1 では GLM 5.2 に 18.9 ポイント差をつけられています。また、MMMU Pro では 73.5%、VoiceBench では 91.4% のスコアを達成しています。さらに、Design Arena の「Agentic Web Dev」リーダーボードでは、盲検化された人間評価により 1257 という結果を残しました。

こうした数値が示す性能は確かなものですが、実際の活用においてはデプロイの現実性が問われます。

Inkling の実行とファインチューニング

Inkling は 2 つのチェックポイントで提供されています。BF16 フォーマットを使用する場合、集積 VRAM で少なくとも 2TB が必要です（NVIDIA B300 を 8 枚、または H200 を 16 枚用意）。一方、NVFP4 形式であれば、VRAM は最低 600GB に抑えられます。具体的には、W4A4 量化で NVIDIA B300 を 4 枚、あるいは W4A16 量化で H200 を 8 枚構成すれば運用可能です。

実行環境としては、SGLang、vLLM、TokenSpeed、Unsloth、および Hugging Face の transformers ライブラリがサポートされています。

pip install -U transformers   (5.14.0 以降)

from transformers import AutoModelForMultimodalLM, AutoProcessor

model_id = "thinkingmachines/Inkling"           # BF16、Hopper 以降の GPU 向け
# model_id = "thinkingmachines/Inkling-NVFP4"   # NVFP4、Blackwell 向け

processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForMultimodalLM.from_pretrained(
    model_id, dtype="auto", device_map="auto",
)

messages = [
    {"role": "user", "content": [
        {"type": "audio", "audio": "support_call.wav"},   # 16kHz WAV ファイル
        {"type": "text", "text": "Transcribe, then list every billing complaint."},
    ]},
]

入力データの処理には、以下のコードを実行します。

生成プロンプトを追加し、トークン化して辞書形式で返却する際、思考の努力レベルを「medium」に設定できます（オプション：none, minimal, low, medium, high, xhigh, max）。

次に、モデルがマルチトークン予測ドラフター（multi-token-predition drafter）を使用可能にするフラグ use_mtp を有効にして生成を実行します。最後に、入力 ID の末尾以降の出力部分をデコードして表示します。

OpenAI 互換のサービングは、単一のコマンドで完了します。

vllm serve thinkingmachines/Inkling --tensor-parallel-size 8 --served-model-name inkling

ファインチューニングについては、現在 Tinker で利用可能となっており、64K と 256K のコンテキスト長を選択できます。また、ツール呼び出しやマルチモーダル入力を扱うポストトレーニング用として、「tml-renderers」も公開されています。

ホスト型 API は、TogetherAI、Fireworks、Modal、Databricks、Baseten を通じて利用可能です。

これらの制約を踏まえると、主なデプロイパターンは以下の 3 つに分類されます。

Inkling の活用シーン

音声と視覚を扱うエージェント

このモデルの主要な設計目標の一つは、研究所が持つ対話型モデルシステムを支えることです。例えば、サポートエージェントが 16kHz の WAV 形式の通話データとスクリーンショットを入力として受け取り、構造化されたチケットを発行するといったユースケースが可能です。

コストに応じた階層化されたエージェントパイプライン

簡単なルーティングやトリアージには低レベルの思考努力で対応し、複雑な修復ステップには最大限の思考努力を割り当てることで、一つのデプロイ環境で異なる予算要件を満たすことができます。

ドメイン特化型のファインチューニング

研究所では、金融判断などの分野において、ファインチューニングによって汎用モデルとの差を埋める事例が報告されています。また、Python を活用したチャート分析（CharXiv RQ で 82.0% のスコア）のように、グラフやチャートが多いデータ解析にも適しています。

まとめると、トレードオフの関係は明確です。

強みと弱み

強み

Apache 2.0 ライセンスの重みを持ち、100 万トークンのコンテキスト長に対応。ネイティブでテキスト、画像、音声の入力をサポートしています。

計算コスト（トークン数）を Nemotron 3 Ultra の Terminal Bench スコアと同等に抑えつつ、必要な処理努力量を制御可能にしました。

比較対象となったオープンウェイトモデルの中で、FORTRESS 敵対的テストのスコアが最高値（78.0%）を記録しています。

Transformer、SGLang、vLLM、llama.cpp への Day-0 サポートに加え、5 つのホスト型 API も提供されています。また、推論加速のためのスペキュレーティブ・デコーディング用マルチトークン予測ドラフターも同梱されます。

弱み

HLE、Terminal Bench 2.1、SWEBench Verified の各ベンチマークにおいて、GLM 5.2 や Kimi K2.6 にスコアで劣っています。

BF16 精度での動作には集計 VRAM が 2TB 必要です。また、NVFP4（W4A4）形式を使用するには SM100 以上のハードウェアが必須となります。

SimpleQA Verified のスコアは 43.9% で、DeepSeek V4 Pro の 57.0% に比べると大きく見劣りします。

Inkling-Small の重みは未公開であり、音声や画像の出力機能も備えていません。

Terminal Bench 2.1 の数値は競合他社の自己申告とは異なり、内部で用意されたハーンチ（検証環境）を用いた結果です。

プロジェクトページでは、ロールプレイや間接的なプロンプトに対して、依然として安全性上のリスクが残っていることが警告されています。

出典

Inkling: Our open-weights model — Thinking Machines Lab

Inkling Model Card — Thinking Machines Lab

thinkingmachines/Inkling — Hugging Face

Welcome Inkling by Thinking Machines — Hugging Face Blog

@thinkymachines announcement on X

@miramurati on X

この記事は、Thinking Machines Lab が 975B パラメータ（アクティブ 41B）のオープンウェイト多モーダル MoE「Inkling」をリリースし、思考の努力量を制御可能にしたという内容で始まりました。