Thinking Machines Lab、276B パラメータの MoE モデル「Inkling-Small」公開
本文の状態
日本語全文を表示中
詳細モードで約7分の本文を読めます。
同じ出来事の情報源
この情報源を基点に整理
MarkTechPost
Thinking Machines Lab は、2760億パラメータのうち120億がアクティブなマルチモーダルMoEモデル「Inkling-Small」をApache 2.0ライセンスで公開し、単一GPUでの動作や高度な推論能力を実現した。
AI深層分析を開く2026年8月3日 09:55
AI深層分析
キーポイント
軽量かつ高性能なオープンウェイトモデルの公開
Thinking Machines Lab は、総パラメータ2760億、アクティブ120億のマルチモーダルMoEモデル「Inkling-Small」をApache 2.0ライセンスでHugging Faceに公開した。
単一GPU環境での実用化可能性
NVIDIA B300 1枚（W4A4量子化）または H200 2枚（W4A16）で動作可能となり、スタートアップや中堅企業が独自ホストを容易に実現できる。
大規模モデルを上回る推論性能
コーディングや論理的推論に関するベンチマーク（SWE-bench, Humanity's Last Exam等）において、教師モデルである「Inkling」よりも高いスコアを記録した。
高度なマルチモーダル処理能力
テキスト、画像、音声をネイティブに処理可能で、100万トークンのコンテキストウィンドウと調整可能な思考努力（thinking effort）をサポートする。
推論コストと性能のトレードオフ
Inkling-Small は単一の B300 GPU で動作可能な低コストモデルだが、事実性評価（SimpleQA）や銀行タスクでは大規模版より性能が低下する。
重要な引用
The smaller model surpasses its teacher on reasoning and agentic coding.
That single-GPU path moves a 276B model out of frontier-lab territory.
Inkling-Small scores 31.6%, ahead of Inkling's 29.7%.
Thinking Machines Lab concluded the model presents no material uplift beyond the existing open-weight ecosystem.
編集コメントを表示
編集コメント
大規模モデルの性能を維持しつつ、ハードウェア要件を劇的に低減する量子化アプローチは、オープンソースコミュニティにおける実用性の転換点となる。特に単一 GPU での動作が可能になったことで、研究機関やスタートアップが最先端の推論能力を実装する敷居が大幅に下がる。
Source Article
元記事を日本語で読む
本文に関係しない購読案内、埋め込み通知、サイト内プロモーションは除いています。
Thinking Machines Lab は、総パラメータ数 2760 億、アクティブパラメータ数 120 億のオープンウェイト型 Mixture-of-Experts モデル「Inkling-Small」を公開しました。これは同社の主力モデル「Inkling」（総パラメータ 9750 億、アクティブ 410 億）のおよそ四分の一の規模です。
このモデルは NVIDIA の GB300 NVL72 システムでトレーニングされ、テキスト・画像・音声に対してネイティブな推論が可能です。コンテキストウィンドウは最大 1M トークンをサポートし、思考にかかる計算リソース（thinking effort）も調整可能です。重みデータは Apache 2.0 ライセンスの下、Hugging Face で公開されています。
実用化が可能か？
はい、可能です。その鍵となるのが量子化されたチェックポイントです。モデルカードによると、BF16 フォーマットのチェックポイントを実行するには、少なくとも 600GB の集約 VRAM が必要です。これは NVIDIA B300 を 4 基、あるいは H200 を 8 基用意することで満たせます。一方、NFP4（NVFP4）量子化版であれば必要 VRAM は 180GB にまで削減されます。
具体的な動作環境としては、単一の B300 で W4A4（4bit 重み・4bit 活性化値）での推論が可能です（ただし SM100+ 以上のアーキテクチャが必要）。あるいは H200 を 2 基使って W4A16（4bit 重み・16bit 活性化値）で動作させることもできます。対応するランタイムには SGLang、vLLM、TokenSpeed、Unsloth、および Hugging Face が含まれます。
この単一 GPU での実行パスは、2760 億パラメータという大規模モデルを「最先端研究機関のみが扱える領域」から引き下げました。スタートアップ企業であれば、レンタルされた B300 インスタンス 1 基で自社ホスティングが可能です。既存の H200 クラスタを持つ中堅企業なら、新たなハードウェア導入なしでサービス提供も可能です。
規制の厳しい業界においても、プライベートな重みデータを利用する選択肢が得られます。金融サービス、医療運営、保険、通信、そして公共部門などが該当します。適用可能なワークロードには、コーディングエージェント、ターミナル自動化、ドキュメントおよびチャートの理解が含まれます。さらに音声機能を追加することで、コールセンター分析、音声インターフェース、会議の要約といったユースケースもカバー可能です。
アーキテクチャ
Inkling-Small は、スパースな MoE フードフォワードバックボーンを持つ 42 レイヤーのデコーダー専用トランスフォーマーです。各トークンは 256 のエキスパートのうち 6 つにルーティングされ、すべてのトークンで動作する 2 つの共有エキスパートも併用されます。アテンション機構はローカル層とグローバル層をハイブリッドに組み合わせたものです。このモデルにはエンコーダーが含まれておらず、ネイティブなマルチモーダル対応を実現しています。
画像は 40×40 ピクセルのパッチに分割され、4 レイヤーの hMLP を通じて変換されます。音声は dMel スペクトログラムで表現され、どちらも軽量な埋め込み層を経てテキストトークンと同時に処理されます。数値計算には BF16、MXFP8、NVFP4 がサポートされています。音声入力は 16 kHz の WAV ファイルで、理想的には 2 分以内の長さです。出力はテキストのみとなります。
Inkling-Small は、より大規模な後継モデルよりも後にトレーニングを開始しました。これにより研究チームは事前学習データのミックスと機械学習のレシピを見直すことができました。研究チームは、先行するチェックポイントである Inkling-Small（プレビュー版）を、教師として Inkling を用いたオンポリシー蒸留の一部でポストトレーニングし、その上で 2 週間にわたってアジェンティックコーディング RL のスケーリングを継続しました。
ベンチマーク結果
小規模モデルは推論とアジェンティックコーディングの両方で教師モデルを上回っています。Humanity's Last Exam（テキストのみ）では Inkling-Small が 31.6% を記録し、Inkling の 29.7% を上回りました。SWE-bench Verified では bash のみを使用するハーンスで 80.2% を達成し、対照的に Inkling は 77.6% です。Terminal-Bench 2.1 では最良のハーンスで 64.7% に達しました。Toolathlon Verified では 54.4% で、Inkling の 45.5% を上回っています。GPQA Diamond は 89.5%、AIME 2026 は 95.5%、IFBench は 82.2% です。ARC-AGI-2 では 36.5% から 40.1% に向上しました。
SimpleQA Verified のスコアは Inkling の 43.9% から 20.6% に低下し、AA Omniscience インデックスも 2.1 から -9.0 へ下がりました。Tau 3 Banking は 15.5% で、Inkling の 23.7% を下回っています。すべての評価は、コーディング評価で最大トークン数 256K の軌道制限を設けた上で、エフォート 0.99、温度 1.0 の条件下で実施されました。外部スコアは Artificial Analysis、Scale AI、ARC Prize から取得しています。
多様性、認識論的性質、安全性について
コストを抑えつつも、多モーダル性能は Inkling とほぼ同等を維持しています。MMMU Pro は 74.0%、CharXiv RQ は 77.4% です。モデルが Python を用いてチャートをプログラム的に切り出し、拡大表示し、詳細を検査する場合は、このスコアは 81.3% に向上します。音声関連のテストでは、Audio MC が 54.9%、MMAU が 77.0%、VoiceBench が 90.1% を記録しました。
認識論的性質については、大規模な実世界の予測問題コーパスに対して、適切なスコアリングルールを用いた強化学習（RL）でキャリブレーションを訓練しました。検索機能なしの ForecastBench では Brier Index が 61.3 ± 0.46 で、Inkling の 60.1 ± 0.54 を上回っています。安全性に関する評価では、StrongREJECT が 98.4%、FORTRESS adversarial が 71.6%、FORTRESS benign が 96.9% でした。Thinking Machines Lab は、このモデルが既存のオープンウェイトエコシステムにおいて実質的な性能向上をもたらすものではないと結論付けています。そのため、一般消費者向けへの展開では、Llama Guard などの下流層でのモデレーションを組み合わせることを推奨しています。
両モデルとも Tinker で利用可能で、期間限定の割引も実施中です。テキスト、画像、音声によるチャットは Tinker Playground で実行できます。
インタラクティブな解説
以下の埋め込みコンテンツでは、今回のリリースを 4 つのインタラクティブなパートに分けて解説しています。1 つ目のタブでは、各層で 258 個のエキスパートのうち 8 個がスパースルーティングによってどのように活性化されるかをアニメーションで示します。2 つ目のタブでは、Inkling-Small を 10 のベンチマークにおいて同等のオープンウェイトモデルと比較してランキング付けしています。3 つ目のタブでは、3 つの入力モダリティ（テキスト・画像・音声）がどうやって単一のデコーダーに収束するかを追跡します。4 つ目のタブでは、各チェックポイント形式に必要なハードウェアのリソース規模を算出しています。
主なポイント
Inkling-Small は、Apache 2.0 ライセンスで公開されている、総パラメータ数 276B、アクティブパラメータ数 12B の MoE モデルです。
HLE、SWE-bench Verified、Terminal-Bench 2.1、ARC-AGI-2 の各ベンチマークにおいて、総パラメータ数 975B の Inkling を上回る性能を記録しました。
NVFP4 チェックポイント形式であれば、単一の B300 GPU で動作可能で、必要な VRAM は合計 180 GB です。
一方で、事実の想起能力については後退が見られました。SimpleQA Verified では 20.6% に留まり、Inkling の 43.9% を下回っています。
ネイティブテキスト、画像、音声の入力をサポートし、コンテキストウィンドウは 1M トークンです。
原文を表示
Thinking Machines Lab has released Inkling-Small, an open weights Mixture-of-Experts model with 276B total parameters and 12B active. That is about a quarter the size of Inkling, which carries 975B total and 41B active parameters. The model was trained on NVIDIA GB300 NVL72 systems. It reasons natively over text, images and audio. The context window reaches 1M tokens, and thinking effort is adjustable. Weights ship under Apache 2.0 on Hugging Face.
Is it deployable
Yes, and the quantized checkpoint is why. Per the model card, the BF16 checkpoint needs at least 600 GB of aggregated VRAM. That is met by 4x NVIDIA B300 or 8x NVIDIA H200. The NVFP4 checkpoint drops that floor to 180 GB. It runs W4A4 on a single B300, which requires SM100+, or W4A16 on two H200s. Supported runtimes are SGLang, vLLM, TokenSpeed, Unsloth and Hugging Face.
That single-GPU path moves a 276B model out of frontier-lab territory. Startups can self-host on one rented B300 instance. Mid-size enterprises with existing H200 capacity can serve it without new hardware. Regulated sectors gain a private-weights option: financial services, healthcare operations, insurance, telecom and public sector. Applicable workloads include coding agents, terminal automation, and document and chart understanding. Audio widens that to call-center analytics, voice interfaces and meeting summarization.
Architecture
Inkling-Small is a 42-layer decoder-only transformer with a sparse MoE feed-forward backbone. Each token routes to 6 of 256 experts, plus 2 shared experts active on every token. Attention is a hybrid of local and global layers. The model is encoder-free and natively multimodal. Images are divided into 40×40-pixel patches and transformed using a four-layer hMLP. Audio is represented as dMel spectrograms. Both pass through a lightweight embedding layer and are processed jointly with text tokens. Numerics support covers BF16, MXFP8 and NVFP4. Audio input is WAV at 16 kHz, ideally under two minutes. Output is text only.
Inkling-Small began training after its larger counterpart. That let the research team revise the pre-training data mix and the machine learning recipe. The research team post-trained an earlier checkpoint, Inkling-Small (preview), in part using on-policy distillation with Inkling as the teacher. From that checkpoint, it continued scaling agentic coding RL for two weeks.
Benchmark results
The smaller model surpasses its teacher on reasoning and agentic coding. On Humanity’s Last Exam (text only) Inkling-Small scores 31.6%, ahead of Inkling’s 29.7%. SWE-bench Verified is 80.2% versus 77.6%, using a bash-only harness. Terminal-Bench 2.1 reaches 64.7% at best harness. Toolathlon Verified is 54.4%, against Inkling’s 45.5%. GPQA Diamond is 89.5%, AIME 2026 is 95.5%, and IFBench is 82.2%. ARC-AGI-2 rises to 40.1% from Inkling’s 36.5%.
SimpleQA Verified falls to 20.6% from Inkling’s 43.9%, and the AA Omniscience index drops to -9.0 from 2.1. Tau 3 Banking is 15.5% versus Inkling’s 23.7%. All evaluations ran at effort 0.99 and temperature 1.0, with a 256K max-token trajectory limit on coding evals. External scores are sourced from Artificial Analysis, Scale AI and ARC Prize.
Multimodality, epistemics and safety
Multimodal scores stay close to Inkling at lower cost. MMMU Pro is 74.0%. CharXiv RQ is 77.4%, rising to 81.3% when the model uses Python to crop, zoom and inspect charts programmatically. Audio MC is 54.9%, MMAU is 77.0%, and VoiceBench is 90.1%.
On epistemics, calibration was trained with RL against proper scoring rules on a large corpus of real-world forecasting questions. ForecastBench without search gives a Brier Index of 61.3 ± 0.46, ahead of Inkling’s 60.1 ± 0.54. On safety, StrongREJECT is 98.4%, FORTRESS adversarial is 71.6%, and FORTRESS benign is 96.9%. Thinking Machines Lab concluded the model presents no material uplift beyond the existing open-weight ecosystem. It recommends layering downstream moderation such as Llama Guard on consumer-facing deployments.
Both models are available on Tinker with a limited-time discount. Text, image and audio chat run on Tinker Playground.
Interactive explainer
The embed below breaks the release into four interactive parts. Tab one animates how sparse routing activates 8 of 258 experts per layer. Tab two ranks Inkling-Small against comparable open weights models on ten benchmarks. Tab three traces how the three input modalities converge into one decoder. Tab four sizes the hardware each checkpoint format requires.
Key Takeaways
Inkling-Small is a 276B total, 12B active MoE model under Apache 2.0.
It beats the 975B Inkling on HLE, SWE-bench Verified, Terminal-Bench 2.1 and ARC-AGI-2.
The NVFP4 checkpoint runs on a single B300 at 180 GB aggregated VRAM.
Factual recall regressed: SimpleQA Verified 20.6% versus Inkling’s 43.9%.
Native text, image and audio input with a 1M token context window.
Check out the Technical details and Model weight. Also, feel free to follow us on Twitter and don’t forget to join our 150k+ML SubReddit and Subscribe to our Newsletter. Wait! are you on telegram? now you can join us on telegram as well.
Need to partner with us for promoting your GitHub Repo OR Hugging Face Page OR Product Release OR Webinar etc.? Connect with us
The post Thinking Machines Lab Releases Inkling-Small: A 276B Total, 12B Active Open Weights Multimodal MoE Model appeared first on MarkTechPost.
関連記事
今日のまとめ
AIデイリーブリーフで今日の重要ニュースをまとめ読み