Thinking Machines が Hugging Face で「Inkling」発表

記事一覧に戻る

Inkling は、画像・テキスト・音声の 3 つの入力をネイティブに受け付ける、1 トリオンパラメータ規模の超大規模オープンモデルです。

TLDR; Thinking Machines 社の「Inkling」が Hugging Face で公開されました。 Inkling は、画像・音声・テキストすべてのモダリティを理解し、エージェント機能も備え、最大 100 万トークンのコンテキスト長をサポートする巨大なマルチモーダル LLM です。フル精度の BF16 バージョンと、よく調整された NVFP4 量子化バージョンの両方を提供しており、推論速度を向上させるための予測的 MTP レイヤーも実装されています。また、transformers、SGLang、llama.cpp に対する Day-0 サポートも用意されています。

Inkling の特徴とは？

Inkling は、画像・テキスト・音声の入力をネイティブに受け付け、45 トリオントークン（テキスト、画像、音声、動画）で学習された、約 1 トリオンパラメータと100 万トークンのコンテキストウィンドウを備えた、世界初の超大規模オープンモデルです。このモデルは、音声・画像・テキストにまたがる推論能力に焦点を当てており、ファインチューニングによるドメイン適応も想定されています。私たちはデモの構築やアーキテクチャの探求のためにこのモデルをいじくり回してきましたが、新しいマルチモーダル推論アプリを構築する上で非常に優れた基盤になると考えています。

全体像とアーキテクチャ

Inkling は、総パラメータ数 9750 億、アクティブなパラメータ数 410 億のデコーダー専用マルチモーダル Mixture-of-Experts モデルです。機能が多岐にわたるため、それぞれの要素を詳しく見ていきましょう。

• Decoder-only（デコーダーのみ）: これは、最新の LLM で一般的に見られるような因果的な自己回帰生成をサポートするアーキテクチャであることを意味します。

マルチモーダル対応：本モデルはテキスト、音声、画像をすべて入力として扱えます。

エキスパート混合（MoE）：各層内のフィードフォワードネットワークはスパース構造を採用しており、任意の時点でアクティブになるパラメータ数は 410 億個のみです。これにより推論速度が向上しています。本モデルには後述する通り、256 のエキスパートが用意されています。

アーキテクチャを概観しましょう。

相対アテンション： トランスフォーマーモデルに位置情報を付与する一般的な手法である RoPE ではなく、Inkling は相対アテンションを採用して位置情報を符号化します。各アテンション層は、アテンションのロジット内で直接位置を学習します。従来のキー・クエリ・バリューに加え、4 つ目の射影が行われ、トークンごと・ヘッドごとに相対特徴 R を生成します。この射影テンソルは、キーベクトルとクエリベクトルの間の距離情報を用いて調整され、アテンションモジュールへ伝播されます。

ハイブリッドアテンション： デコーダー層は、全コンテキスト長を一度に参照する「グローバルアテンション」と、固定されたコンテキストウィンドウをスライド方式で参照する「スライディングウィンドウアテンション」を交互に使用します。両者の構成比は 5:1（スライディングウィンドウ：グローバル）です。このハイブリッドなアテンションスキームにより計算効率が向上しています。最終層では、豊かな特徴表現を構築するためにグローバルアテンションが用いられます。

短縮畳み込み: このモデルは、隠れ状態に対して特徴的な短い 1D 畳み込み（SConv）を使用します。SConv は現在のトークンと直前の W-1 個の隠れ状態を読み取り、W がスライディングウィンドウサイズを表します。この仕組みの狙いは、SConv が局所的な注意機構を担う一方で、アテンションや MoE モジュールが局所的な表現に縛られないようにすることです。

共有エクスパートを持つ MoE: Inkling では、ルーティングされたエクスパートと共有エクスパートの両方にラウターがスコアを付けます。Top-k 選択は、6 つのエクスパートに加え、常に有効な 2 つの共有エクスパートを対象に行われます。

ビジョン理解: このモデルには、いくつかの線形層からなるシンプルな階層的 MLP パッチファイヤーが含まれています。各層が順次ピクセルをマージし、最終層でパッチごとに 1 つの埋め込みベクトルを生成します。

オーディオ理解: 本アーキテクチャでは離散化されたメルスペクトログラムを採用しています。100 ミリ秒ごとのオーディオチャンクはメルスケールに変換され、その後、正確なメルスペクトログラムのビンに分類されます。

マルチモーダル・タワーは、各モダリティに個別のエンコーダーを採用する他のモデルとは異なり、比較的シンプルなモジュールです。画像パッチは画像埋め込みタワーを通過し、音声チャンクは音声埋め込みタワーを通過することで、それぞれのメディア埋め込みが生成されます。動画処理には、画像入力に追加で時間次元が含まれます。この機能は後続のファインチューニングに有用になると期待されていますが、現状では標準状態での動画性能の評価はまだ行っていません。

タワーはパッチグリッドを折りたたみ、隣接するトークンの小さなローカルブロックをチャネル次元にスタックして hMLP を通します。音声波形はメルスケールに変換され、その後離散メルビンに分類されます。これらのメルビンの値が音声埋め込みタワーで埋め込まれ、最終的な音声入力を構築するために埋め込み同士が加算されます。

Inference Support

Inkling は Day-0 のトランスフォーマーに対応しており、SGLang や vLLM といった主要な推論エンジンでもサポートされています。

このモデルは非常に巨大です。bf16 チェックポイントには 2 TB の VRAM を必要とし、nvfp4 バージョンでは 600 GB の VRAM が要求されます。Inference Providers などのサーバーレス推論ルーターを通じてモデルを試すか、llama.cpp と組み合わせて ggml 量子化版をローカル展開に利用することもできます。

Transformers

transformers を直接利用して推論を行う最も簡単な方法は、any-to-any パイプラインを使用することです。Hopper 以降の GPU であれば、16 ビット版の thinkingmachines/Inkling モデルを利用できます。 （原文の技術表記: "thinkingmachines/Inkling"）

Blackwell 搭載の NVIDIA GPU で動作する、量子化された NVFP4 チェックポイント「thinkingmachines/Inkling-NVFP4」です。 （原文の技術表記: "thinkingmachines/Inkling-NVFP4"）

最新のバージョンの transformers を用意してください（本日 5.14.0 がリリースされました）。

pip install -U transformers

from transformers import pipeline

model_id = "thinkingmachines/Inkling"
# model_id = "thinkingmachines/Inkling-NVFP4"

pipe = pipeline("any-to-any", model=model_id)

パイプラインを初期化した後は、以下のようにプロンプトを渡すことができます。

image_url = (
    "https://huggingface.co/datasets/merve/vl-test-suite/"
    "resolve/main/pills.jpg"
)
messages = [
    {
        "role": "user",
        "content": [
            {
                "type": "image",
                "image": image_url,
            },
            {
                "type": "text",
                "text": "Do components in this supplement interact with each other?",
            },
        ],
    },
]
output = pipe(
    messages,
    max_new_tokens=2000,
    return_full_text=False,
    reasoning_effort="medium",
)
output[0]["generated_text"]

（原文の技術表記: pip install -U transformers）

さらに下位レベルでは、Auto クラスを利用できます。推論時には、モデルには AutoModelForMultimodalLM クラスを、プロセッサには AutoProcessor クラスを使用します。

推論タスクの種類に応じて、トークナイザーは reasoning_effort 引数を受け取ります。現在利用可能な推論レベルのオプションには、"none" や "minimal" などがあります。

「low」, 「medium」, 「high」, 「xhigh」、そして「max」。

from transformers import AutoModelForMultimodalLM, AutoProcessor

model_id = "thinkingmachines/Inkling"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForMultimodalLM.from_pretrained(
    model_id,
    dtype="auto",
    device_map="auto",
)

messages = [
    {"role": "system", "content": "You should only answer with a number."},
    {"role": "user", "content": "What is 17 * 23?"},
]

inputs = processor.apply_chat_template(
    messages,
    add_generation_prompt=True,
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
    reasoning_effort="high",
).to(model.device)

output = model.generate(**inputs, max_new_tokens=2000)
generated_tokens = output[0][inputs["input_ids"].shape[1] :]
print(processor.decode(generated_tokens, skip_special_tokens=False))

（原文の技術表記: "low"、"medium"、"high"、"xhigh"、"max"）

多モーダル推論には、同じクラスを使用できます。各異なるモダリティの例はモデルカードで提供しています。

テキストと画像を組み合わせた推論

from transformers import AutoModelForMultimodalLM, AutoProcessor

model_id = "thinkingmachines/Inkling"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForMultimodalLM.from_pretrained(
    model_id,
    dtype="auto",
    device_map="auto",
)

image_url = (
    "https://huggingface.co/datasets/merve/vl-test-suite/"
    "resolve/main/pills.jpg"
)
messages = [
    {
        "role": "user",
        "content": [
            {
                "type": "image",
                "image": image_url,
            },
            {
                "type": "text",
                "text": "Do any of the components in this supplement interact?",
            },
        ],
    },
]

inputs = processor.apply_chat_template(
    messages,
    tokenize=True,
    add_generation_prompt=True,
    reasoning_effort="medium",
    return_dict=True,
    return_tensors="pt",
).to(model.device)
input_len = inputs["input_ids"].shape[-1]

outputs = model.generate(**inputs, max_new_tokens=2000)
response = processor.decode(outputs[0][input_len:], skip_special_tokens=False)

processor.parse_response(response)

Inkling は音声入力も受け付けます。以下に、同じ AutoModelForMultimodalLM クラスを使用した推論スニペットの例を示します。

テキストと音声を組み合わせた推論

from transformers import AutoModelForMultimodalLM, AutoProcessor

model_id = "thinkingmachines/Inkling"

processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForMultimodalLM.from_pretrained(
    model_id,
    dtype="auto",
    device_map="auto",
)

audio_url = (
    "https://huggingface.co/datasets/merve/vl-test-suite/"
    "resolve/main/example_audio.mp3"
)
messages = [
    {
        "role": "user",
        "content": [
            {"type": "text", "text": "Transcribe the following speech to text."},
            {
                "type": "audio",
                "audio": audio_url,
            },
        ],
    },
]

inputs = processor.apply_chat_template(
    messages,
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
    add_generation_prompt=True,
).to(model.device)
input_len = inputs["input_ids"].shape[-1]

outputs = model.generate(**inputs, max_new_tokens=512)
response = processor.decode(outputs[0][input_len:], skip_special_tokens=False)

processor.parse_response(response)

複数のノードからなるクラスターでより現実的な並列デプロイを行う場合は、以下のSlurm セクションを参照してください。

SGLang

SGLang は、リリース時点において Inkling の最も高速なデプロイメントフレームワークの一つです。これはカスタムモデル実装を内包しているためです。

以下の起動コマンドは、モデルを 8 つの GPU にシャードし、ポート 30000 で OpenAI と互換性のある API を提供します。

pip install sglang

python3 -m sglang.launch_server \
 --model-path thinkingmachine/Inkling \
 --tp-size 8 \
 --served-model-name inkling \
 --host 0.0.0.0 \
 --port 30000

--tp-size を GPU 数に合わせて設定してください。KV キャッシュに余裕を持たせる必要がある場合は、--mem-fraction-static（例：0.85）を追加します。

vLLM

vLLM は本番環境での推論に強く、vllm serve コマンド一つで Hugging Face Hub からモデルの重みをダウンロードし、テンソル並列化（tensor parallelism）を用いて GPU 間でモデルを分割してロードします。その後、ポート 8000 で OpenAI と互換性のあるサーバーが起動します。

pip install vllm

vllm serve thinkingmachine/Inkling \
  --tensor-parallel-size 8 \
  --served-model-name inkling

実際には、複数のノードが必要となり、SLURM などの分散処理ツール（後述）の活用も不可欠です。重要なパラメータとして、--tensor-parallel-size は各ノード上の GPU 数に合わせて設定し、KV キャッシュのメモリ制限に達した場合は --max-model-len でコンテキストウィンドウの長さを制限してください。

curl http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "inkling",
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

Hugging Face 推論プロバイダーによるリモート推論

このモデルは、Hugging Face を介して複数の推論プロバイダーで利用可能です。こちら に、各プロバイダーを利用するためのコードスニペット一覧があります。以下に、OpenAI クライアントを使用する方法を示します。

import os

from openai import OpenAI

client = OpenAI(
    base_url="https://router.huggingface.co/v1",
    api_key=os.environ["HF_TOKEN"],
)

completion = client.chat.completions.create(
    model="thinkingmachines/Inkling:auto",
    messages=[
        {
            "role": "user",
            "content": "What is the capital of France?",
        },
    ],
)

print(completion.choices[0].message)

設定で指定したプロバイダへルーティングするには、" :auto" サフィックスを使用します。また、"cheapest" や ":fastest" も利用可能です。

今回のリリースでは、すべてのユーザーに対して 2 時間の推論コストを無料提供しています。

※推論プロバイダにおける音声サポートは現在開発中で、まもなく追加予定です。 （原文の技術表記: “:auto”、“cheapest”、“:fastest”）

llama.cpp と Unsloth を使ったローカル推論

限られたハードウェア環境でも、llama.cpp を利用すれば量子化されたモデルを実行できます。Unsloth はこのモデルを 1 ビット精度まで量子化し、オリジナルのモデルと比較して VRAM の消費量を 95% 削減しました。

llama serve -hf unsloth/inkling-GGUF:UD-IQ1_S

これで、お好みのツールやクライアントから接続できる OpenAI 互換サーバーが http://localhost:8000 の /v1 エンドポイントで起動します。この URL にアクセスすれば、モデルとのチャットを開始したり、お気に入りの MCP（Model Context Protocol）を設定したり、画像やファイルを簡単に読み込んだりできます。

Llama cpp には、ツール、MCP、エージェントワークロードに対応したビルトイン UI も用意されています。llama アプリで 1 ビット精度で動作する Inkling をチェックしてみましょう。

Inkling の GGUF ファイルは、Unsloth Studio でも実行可能です。動的な 1 ビット GGUF は、トップ 1% の精度を約 74.2% 維持したまま、サイズを 86% 削減しています。

Use Cases

Agentic coding with Pi

Pi は、さまざまな言語モデルと連携して使用できる最小限のコーディングエージェント用フレームワークです。インストール後、~/.pi/agent/models.json に設定を追加することで、llama.cpp などの推論エンジンサーバーエンドポイントや、Hugging Face の推論プロバイダーと Pi を接続できます。

{
  "providers": {
    "inference-providers": {
      "baseUrl": "https://router.huggingface.co/v1",
      "api": "openai-completions",
      "apiKey": "hf_...",
      "models": [
        {
          "id": "thinkingmachines/Inkling"
        }
      ]
    }
  }
}

プロジェクトディレクトリで pi コマンドを実行すれば、すぐに Pi を起動できます。今回のデモでは、モデルに難解な数学推論問題を与えましたが、Pi 内のツールを活用して見事に解決しました。

Inkling は広範なマルチモーダル推論とトークン消費量の削減を重視しているため、ドキュメント処理や音声タスクでの利用もおすすめです。

Multi Token Prediction Drafters

MTP（Multi-Token Prediction）は、モデルに追加レイヤーを追加し、次の 1 トークンだけでなく複数のトークンを同時に予測できるようにします。推論時には、これらの追加レイヤーが「ドラフター」として機能し、性能を損なうことなく生成速度を向上させるスペキュレーティブ・デコーディングを実現します。MTP を採用しても、生成される出力は完全に同一のままです。VRAM 上のコストは小さく抑えつつ、生成速度の大幅なアップが期待できます（ドラフターをサービスする分のみ）。Thinking Machines では、今回のリリースに合わせて MTP ドラフターも提供しています。

import torch
from transformers import AutoModelForMultimodalLM, AutoProcessor

processor = AutoProcessor.from_pretrained("thinkingmachines/Inkling")
model = AutoModelForMultimodalLM.from_pretrained(
    "thinkingmachines/Inkling",
    dtype=torch.bfloat16,
    device_map="auto",
)

# Preprocess the inputs.
...
generated = model.generate(
    **inputs,
    max_new_tokens=1000,
    do_sample=False,
    use_mtp=True,
)
print(processor.decode(generated[0], skip_special_tokens=True))

Multimodal Vision

専門家の作成した問題や大学入試レベルの推論クイズからなる小規模なテストセットを用意しました。モデルの評価に際しては、スクリーンショットにウォーターマークが含まれるよう撮影した画像を使用し、モデルの能力を試しています。

このモデルは高難易度の問題ではすべて正解しましたが、最高・中程度の推論努力を要する問題で1問失敗しました。各問題に対するモデルの回答例や、解答にかかるトークン数を確認いただけるようリンクを用意しました。

なお、これらの「バイブ評価」にはシステムプロンプトを含んでいませんが、実際の運用では適切なシステムプロンプトと共に実行することを推奨します。

評価に使用した画像と結果は こちら で公開しています。

いくつかのヒント:

• 図表への直接回答ではなく、まず画像内のテキストをテキストとして認識し、文脈を把握します。

• トークン節約のため、プロンプトの設計が非常に重要です。例えば、ピルの裏面の画像に対して「ここでどの部品が相互作用しているか」といった曖昧な質問をすると、モデルはまず「相互作用」の意味を理解する必要があります。

• 多肢選択式（MCQA）の問題は、モデルが推論を構造化する上で大きな助けになりました。一方、自由記述式の問題では MCQA に比べて苦戦しましたが、これは多くのモデルに共通する課題です。一般的な思考の連鎖（Chain of Thought）は、「OCR → 特徴付け → 各選択肢の評価 → 回答」という流れでした。

• 推論の強度を「0.7（中程度）」に設定すると、バランスの良い結果が得られるようです。

マルチモーダルオーディオ

BigBenchAudio から抽出したいくつかの音声推論例と、GlobeAudio の多言語音声例（ロシア語と中国語で、転写テキストの最後の単語を当てる多肢選択問題）を用いて、モデルの「バイブ評価」を行いました。テスト対象とした BigBenchAudio の例には、論理的な命題や質問が含まれており、音声文脈から論証が導き出せるか（形式上の誤謬の検出）や、音声内に登場する複数の物体の中から特定のものの総数を数えるといったタスクがあります。このベンチマークは本来「音声対音声」の推論を目的として作成されたものですが、今回はモデルの音声推論能力そのものを確認したかったためです。

GlobeAudio の質問は比較的単純な内容だったため、推論コスト（effort）を 0.1 に設定してテストを実行しました。各言語の最初の例ずつを試験し、すべての質問とコスト設定で成功しましたが、唯一例外として「最低コスト設定における形式誤謬の第 2 例」のみが失敗しました。そのため、ここでは各質問にかかるトークン数と推論コストの関係のみを報告します。

バイブ評価の結果詳細と音声ファイルは こちら で確認できます。

いくつかの雰囲気に関するメモ

• 視覚モデルと同様に、このモデルはまず発言を文字起こししてから質問に答えます。

• 誤答への誘惑にも耐性があります。ロシア語でのテストでは、音声内に他の回答が含まれていたにもかかわらず、正しい答えを選択しました。

• 視覚モデルと同様、通常の思考プロセス（チェーン・オブ・ソート）は「文字起こし→特徴の特定→各選択肢の評価→回答」という流れになります。

• この取り組みにより、聴覚そのものではなく推論能力が強化されます。音声に対する質問応答タスクは、画像処理に比べてコストが大幅に低いことが確認されています。

学習後の活用

Inkling をポストトレーニング（追加学習）に利用したい場合は、Thinking Machines が管理ツール tinker を提供しています。これはオープンウェイトモデルの追加学習を支援するツールで、微調整（fine-tuning）、知識蒸留（distillation）、強化学習（reinforcement learning）に関するサンプルコードも含まれています。

私たちは Inkling のポストトレーニングに tinker と、エージェント型強化学習環境を提供するツール「OpenEnv」を組み合わせて使用しました。ここでは ECHO アルゴリズムを採用し、検証器（verifier）なしで環境を予測できるモデルを学習させます。具体的には、環境から生成されたトークンに対して次トークンのクロスエントロピー損失（next-token cross-entropy loss）を適用しつつ、エージェントの行動に対する通常のポリシー学習も併せて行います。これにより、別個のモデルや教師、追加のロールアウトなしで、ポリシーが暗黙的な世界モデルを獲得できるようになります。

詳細は こちら の例をご覧ください。

tinker と OpenEnv を用いた強化学習の例

git clone https://github.com/huggingface/OpenEnv.git
cd OpenEnv

# Add TINKER_API_KEY=... to .env, then run:
uv run --env-file .env \
  examples/echo_world_model/backends/tinker_echo_demo.py

Transformers Reinforcement Learning を活用する際は、知識蒸留（knowledge distillation）の教師モデルとして Inkling の使用を推奨します。具体的には、Inkling の文書理解能力を活用して、オンデバイス向けに最適化された小規模モデルのパフォーマンスを向上させることが可能です。

こちらの例 では、Transformer Reinforcement Learning ライブラリと GOLD アルゴリズムを用いて知識蒸留を行っています。GOLD は異なるトークナイザー間のトークンロジットを一致させるため、この用途に非常に便利です。これにより、Hugging Face Hub 上の任意のモデルへ知識を蒸留することが可能になります。

Slurm スクリプト

クラスター上で Inkling をデプロイする際、Transformers API でサービスを提供するための SLURM スクリプトと、異なるモダリティでエンドポイントをクエリする方法を用意しています。コマンドを更新することで、これらのスクリプトを vLLM や SGlang にも適用可能です。

詳細は こちら のバケットにあります。

• 推論ジョブの送信
• Python 生成スクリプト

ベンチマーク結果