AI ニュース：今日も静かな一日
Thinking Machines Lab が、9750 億パラメータのオープンウェイト多機能基盤モデル「Inkling」を正式にリリースし、業界標準的なエコシステムとの即時互換性を確立した。
キーポイント
Inkling モデルの特性と規模
Thinking Machines Lab が開発した「Inkling」は、テキスト・画像・音声を横断して効率的に推論を行う 975B パラメータのオープンウェイト基盤モデルであり、ベンチマーク至上主義ではなくカスタマイズ性を重視している。
開発経緯と戦略的意図
昨冬からプレトレーニングを開始し、今年 1 月から小規模チームがコーディング・推論・エージェント機能の追加訓練を行ったものであり、最終的な到達点ではなく次世代への土台として位置づけられている。
広範なエコシステム対応
リリース直後に vLLM、SGLang、Modal、Databricks、Hugging Face などの主要ツールやプラットフォームとの互換性が確立され、即日ファインチューニングが可能な Tinker プラットフォームも提供されている。
重要な引用
Thinking Machines announced Inkling as an open-weights model that 'reasons efficiently across text, image, and audio modalities'
Mira Murati described Inkling as the company's 'first model,' 'trained from scratch,' with open weights
Soumith Chintala framed it as Thinking Machines' 'first general model,' stressing open weights, 975B parameters
影響分析・編集コメントを表示
影響分析
この発表は、大規模モデルの「ブラックボックス化」に対する反動として、オープンウェイトかつマルチモーダルな基盤モデルの実用性を再定義する重要な転換点となる可能性があります。特に、リリース直後に主要なデプロイメントツールとの互換性が確保されている点は、開発者が即座に実環境へ導入し、カスタマイズを加速させる上で決定的な役割を果たすでしょう。
編集コメント
Thinking Machines Lab が「最終的な到達点」ではなく「次世代への土台」として Inkling を位置づけた点は、オープンソースコミュニティにおけるモデルの進化サイクルを加速させる示唆に富む戦略です。975B という巨大規模でありながら即座にファインチューニング可能な環境が整っていることは、研究開発から実装までのタイムラインを大幅に短縮する可能性があります。
静かな一日でした。
2026年7月14日〜15日のAIニュースまとめです。今回は12のサブレッドと544件のツイートを調査しました（Discord は対象外）。過去のニュースは AINews のウェブサイト で検索可能です。なお、AINews は現在 Latent Space の一部 となっています。メール配信の頻度設定も 変更可能 です。
AI Twitter リキャップ
何があったか
Thinking Machines Lab は、同社初の完全公開重みを持つ基盤モデルファミリー「Inkling」をリリースしました。これはベンチマーク最高値を目指すフラッグシップではなく、カスタマイズ可能なマルチモーダルベースモデルとして位置づけられています。
- Thinking Machines は Inkling を、「テキスト、画像、音声の各モダリティで効率的に推論できるオープンウェイトモデル」として発表しました。重みは完全に公開され、Tinker プラットフォームおよび Playground @thinkymachines で即座に利用可能です。
- Mira Murati 氏は Inkling を同社の「最初のモデル」とし、「ゼロから学習された」ものであり、オープンウェイトを採用、かつ Tinker 上でその日のうちにファインチューニングが可能だと説明しました @miramurati。
- Soumith Chintala 氏はこれを Thinking Machines の「初の汎用モデル」と位置づけ、オープンウェイトの採用、9750億パラメータ、ネイティブなマルチモーダル対応を強調。Tinker、Hugging Face、およびパートナー企業で利用可能だと伝えました @soumithchintala。
John Schulman氏がタイムラインの背景情報を補足しました。事前学習は昨冬に開始され、1 月中旬からは小規模チームがコーディング、推論、そしてエージェント機能のトレーニングを積み上げていったと述べています。
Lilian Weng氏は、Inkling を「幅広い能力カテゴリで堅牢なパフォーマンスを発揮する」ことを目指した基盤モデルとして位置づけ、実用性とカスタマイズ性を重視して設計されたものだと解説しました。
TML のスタッフは繰り返し、これは最終的な到達点ではなく、今後のバージョンアップの土台となる「初日リリース（day-1 release）」であると強調しています。
今回のリリースでは、vLLM、SGLang、Modal、Baseten、Databricks、Hugging Face といった主要プラットフォームや、量子化・コミュニティツール群に至るまで、異例とも言えるほど広範な Day-0 エコシステムサポートが提供されました。
独立した評論家たちは即座に、これが現時点で米国発のオープンウェイトモデルの中で最も強力なものと評価しました。ただし、一部のベンチマークでは中国製のトップオープンウェイトモデルや、最上位のクローズドモデルにはまだ及ばないという見方が一般的です。
コアとなる事実と仕様
モデルサイズ、モダリティ、ライセンス、コンテキスト
Inkling のパラメータ数は、多くの投稿で「総数 9750 億、アクティブパラメータ 410 億」と報告されています。一部のツイートでは 9740 億や 9520 億という数字も見られますが、全体的なコンセンサスは約 9750 億に集約されています。
このモデルは Mixture-of-Experts（MoE）アーキテクチャを採用しており、トークン生成ごとに 410 億のパラメータがアクティブになります。
複数の反応や要約（@natolambert, @Yuchenj_UW, @multimodalart 氏など）によると、このプロジェクトは Apache 2.0 ライセンスで公開されています。
入力にはテキスト、画像、音声に対応し、出力はテキストとなります（@soumithchintala, @TheRundownAI, @ArtificialAnlys 氏らの情報）。また、オープンウェイトのチェックポイントでは最大 100 万トークンのコンテキスト長をサポートしています（@vllm_project, @lmsysorg, @ArtificialAnlys 氏ら）。
一方、Tinker/API のコンテキスト長は 256K とされていますが、64K と 256K で価格体系が異なるようです（@ArtificialAnlys 氏）。
トレーニングと公開の詳細
TML によると、Inkling はゼロからトレーニングされたモデルです（@miramurati, @LiorOnAI 氏）。コミュニティの読者がリリース資料から抽出したところ、学習トークンは 45T と推定されています（@eliebakouch, @ArtificialAnlys 氏）。一方、48T という説もありますが、データセット内で最も頻繁に言及されているのは 45T です（@mervenoyann 氏）。
Inkling は、推論の努力度合いや数値的な処理レベルを制御可能にする機能も備えています（@LiorOnAI, @TheRundownAI, @danielhanchen 氏）。また、Tinker の顧客からは、ベンチマークの数値最大化よりも、簡潔な推論プロセスと強力なツール呼び出し能力が評価されています（@tinkerapi, @MichaelElabd 氏）。
反応から明らかになったアーキテクチャの詳細
技術に詳しい人々の反応から、いくつかのアーキテクチャ上の選択が浮き彫りになりました：
- ローカルとグローバルの層比が 5:1 で、ウィンドウサイズが 512 のハイブリッド型（スライディングウィンドウ）アテンション機構を採用しています（@eliebakouch, @ariG23498 氏）。
- RoPE（回転位置埋め込み）ではなく、相対位置エンコーディングや相対アテンションバイアスを採用しました。複数の投稿者がこれを、大規模モデルにおける最も革新的な選択の一つと評価しています（@stochasticchasm, @eliebakouch, @rasbt, @arohan, @ChangJonathanC 氏）。
- アテンション層とFFNストリームの周囲に、短めの畳み込み層を追加した構成です。この「短い畳み込み層」の unusually 大規模な活用については、@eliebakouch, @stochasticchasm, @rasbt, @SonglinYang4 氏らから指摘が寄せられています。
- MoE（Mixture of Experts）アーキテクチャでは、2 つの共有エクスパートを備えています。多くの最新の MoE モデルが 1 つの共有エクスパートを採用している中で、これは特異な構成として @eliebakouch, @ariG23498 氏らによって注目が集まりました。
- DeepSeek スタイルの補助損失なし負荷分散手法も、アーキテクチャに関するコミュニティの分析で言及されています（@eliebakouch）。
- 学習設定については、muP や Muon/weight decay の変種が文書から推測され、最適化器の専門家による反応によって裏付けられました。Aaron Defazio 氏は、自らが提案した修正された重み減衰アプローチ「MuonC/AdamC」を採用していると明言しています（@aaron_defazio）。また、コミュニティ読者からは muP の採用も指摘されています（@stochasticchasm, @Laz4rz）。
- 推論の高速化を目的とした speculative decoding には、8 つの MTP ヘッドが用いられていると vLLM (@vllm_project) が強調しています。
バリアント
- Inkling-Small は、今後のリリースまたは別枠での議論対象となる小規模モデルとして @LiorOnAI, @teortaxesTex 氏らによって繰り返し言及されています。
- コミュニティの要約によると、Inkling-Small のパラメータ数は合計 276B でアクティブ部分は 12B です。このモデルは、より大規模なモデルと比較してもいくつかの評価項目で予想以上に競争力があることが @eliebakouch, @nrehiew_ 氏らによって報告されています。
パフォーマンスとベンチマーク
独立したベンチマークの枠組み
- Artificial Analysis によると、Inkling は知能指数（Intelligence Index）で 41 点を記録し、米国製のオープンウェイトモデルとして首位に立ちました。これは Nemotron 3 Ultra (38 点)、Gemma 4 31B (29 点)、gpt-oss-120b (24 点) を上回る成績です（@ArtificialAnlys）。
Artificial Analysis のレポートによると、Inkling は Intelligence Index タスクあたり平均 25K トークンを出力する一方、GLM-5.2 Max が 43K、Kimi K2.6 が 38K、DeepSeek v4 Pro Max が 37K を記録しており、Inkling のトークン効率が相対的に高いことが示されています @ArtificialAnlys。
Natolambert はこれを「Nemotron Ultra から明確なステップアップであり、新たな米国製モデルの最高峰」と評価しましたが、「アジェンシーベンチでは GLM 5.2 にやや遅れ、マルチモーダル性能でも Kimi K 2.6 に及ばない」と指摘しています @natolambert。
Design Arena の発表では、Inkling は Agentic Web App Arena で総合 9 位（Elo 1257）にランクイン。Claude Opus 4.6 や Gemini 3.5 Flash と同レベルの成績を残し、「アジェンシーワークロードにおいて米国発のオープンウェイトモデルで最高順位を記録した」と評価されています @DesignArena。
また、Arena はローンチ当日から Inkling を Agent Arena / Text / Vision / Code Arena の各カテゴリに追加しました @arena。
引用された具体的なベンチマーク数値
Artificial Analysis より：
- GDPval-AA v2 の Elo は 1238 で、Kimi K2.6（1190）や DeepSeek v4 Flash Max（1189）を上回っています @ArtificialAnlys。
- τ³-Banking では 24% を記録し、Kimi K2.6（21%）を大きく上回り、DeepSeek v4 Flash Max（23%）にもわずかに勝っています @ArtificialAnlys。
定性的な性能評価
肯定的な意見：
- 「論理が鋭く簡潔で、無駄な記述がない」@MichaelElabd。
- アジェンシータスクにおいてツール呼び出しが強力で、長時間にわたる作業でもエラー回復能力が高い @MichaelElabd。
- 思考の質が高く、迎合的ではない姿勢が良い @skirano, @tinkerapi。
- Alex Kirillov氏は、多くのオムニモデルに見られる「音声入力＝知能の低下」という共通の欠陥を、Inklingは回避していると主張しました。しかし、別のユーザーはより強力な裏付けとなる証拠やベンチマーク結果の提示を求めており、@alex_kirillov氏、@giffmana氏、そして再度 @alex_kirillov氏への言及が交わされました。
評価は賛否両論です。
- Scaling01氏は、ベンチマークの結果が「それほど素晴らしいものではない」と指摘。これはおよそ「Kimi-K2.6の別バージョン」に過ぎず、クローズドモデルやGLM-5.2には及ばないと評しました。さらに、このリリース時期はKimi-K3やDeepSeek-V4-GAの発表に先駆けて設定されたのではないかという憶測も示しています @scaling01。
- Stochasticchasm氏は、「マルチモーダル能力としては非常に強力だが、ターミナルベンチなどの評価ではそれほど突出していない」と述べています @stochasticchasm。
- JJitsev氏は、「オープンウェイトモデルで蒸留なしに訓練された唯一のモデル」という過剰な hype（熱狂）に対して反発。Inklingは実際にはオープンウェイトからの蒸留を用いており、TerminalBench 風の評価ではGLM 5.2を下回っていると指摘しています @JJitsev。
- TeortaxesTex氏はあえて逆説的な肯定的見解を提示。「ベンチマークで平均点を取る程度」という結果は、むしろ隅々まで妥協せず蒸留による汚染も少ない、独立したデータパイプラインの証左かもしれないと論じました @teortaxesTex。
推論、システム、およびローンチエコシステム
公式およびパートナーインフラに関する事実
- NVIDIA氏によると、InklingはGB300 NVL72上で訓練され、Hugging Face ではリリース初日（day 0）からNVFP4のチェックポイントが利用可能になったと発表しました @NVIDIAAI。
- vLLM氏は、day 0 サポートとしてNVFP4とBF16に対応し、Blackwell および Hopper アーキテクチャに最適化されていることを明か。MTP（Multi-Token Prediction）を活用することで、4× GB200環境においてユーザーあたり最大380トークン/秒の処理速度を達成できるとしています @vllm_project。
- Inferact は詳細なシステム開発を進めています。具体的には、SConv に対応したテンソル並列シャード化、低遅延の融合集約通信（バッチサイズ 1 で 5 倍高速）、そして TML の FA4 シアーバイアスカーネルを直接統合する @inferact です。
- LMSYS と SGLang は、Inkling アーキテクチャのネイティブサポートを実装したと発表しました。ShortConv や相対位置アテンション、共有エキスパートシンク MoE、プリフィル時のフル CUDA グラフ、MXFP8 KV キャッシュ、カスタマイズされた Megatron バックエンド上での全パラメータおよび LoRA による RL、ルーティングの再生成、ランタイム間でのパラメータ同期、そして Modal からの DFlash 推測デコーディングなどが含まれます @lmsysorg。
- Modal は、Inkling の利用において独自の DFlash スペキュレーターを採用しており、これによりスループットと対話性が 67% 向上したと述べています @modal。
- Soumith Chintala 氏は別個に、Modal の DFlash スペキュレーターは「MTP よりもはるかに高速だ」と強調しました @soumithchintala。
コミュニティによる最適化の観察
- Lysandre は、TML の因果的 Conv1D を causal-conv1d に置き換えることでトークン処理速度が 4% 向上し、さらにアテンションを FlashAttention-4 に変更することで追加で 11% 向上したと報告しました。再学習なしでトータル約 15% のスループット増が見込めます @LysandreJik。
- Unsloth は、1 ビット GGUF 量子化モデルをリリースしました。これはサイズが 86% 削減（270GB vs 1.9TB）されながら、トップ 1% の精度の 74.2% を維持し、ビジョンやオーディオにも対応しています @danielhanchen。
価格と利用状況
- Artificial Analysis によると、Tinker の料金は以下の通りです：
64K コンテキスト：入力 1M トークンあたり $1.87、キャッシュ $0.374、出力 $4.68
256K コンテキスト：入力 1M トークンあたり $3.74、キャッシュ $0.748、出力 $9.36
@ArtificialAnlys
Tinker、Hugging Face で利用可能。また、Databricks、Baseten、Modal、vLLM/SGLang スタックなどのローンチパートナーを通じてアクセスできます（@soumithchintala, @Yuchenj_UW, @baseten, @modal）。
事実と意見の区別
ローンチとパートナーシップによって裏付けられた客観的事実
- オープンウェイト、あるいはフルウェイトが公開されました（@thinkymachines）。
- ゼロからトレーニングが行われました（@miramurati）。
- 総パラメータ数は 975B、アクティブパラメータは 41B の MoE 構造。テキスト・画像・音声のマルチモーダル入力に対応し、重みファイル上では 1M トークンのコンテキスト長を扱えます（Tinker や API では 256K）。詳細は @soumithchintala, @ArtificialAnlys。
- Apache 2.0 ライセンスが適用されています（@natolambert, @Yuchenj_UW）。
- 事前学習は昨冬に開始され、アジェンシー機能やコーディング、推論に関する作業は 1 月中旬から本格化しました（@johnschulman2）。
主要なサービングスタックにおける Day-0 サポートが提供されており、vLLM、Inferact、Modal、NVIDIA から具体的な性能データが発表されています。@vllm_project、
原文を表示
a quiet day.
AI News for 7/14/2026-7/15/2026. We checked 12 subreddits, 544 Twitters and no further Discords. AINews' website lets you search all past issues. As a reminder, AINews is now a section of Latent Space. You can opt in/out of email frequencies!
AI Twitter Recap
What happened
Thinking Machines Lab launched Inkling, its first fully released open-weights foundation model family entry, positioning it as a customizable multimodal base model rather than a benchmark-maxed flagship.
- Thinking Machines announced Inkling as an open-weights model that “reasons efficiently across text, image, and audio modalities,” with full weights available and immediate support on its Tinker platform and Playground @thinkymachines.
- Mira Murati described Inkling as the company’s “first model,” “trained from scratch,” with open weights and same-day fine-tuning on Tinker @miramurati.
- Soumith Chintala framed it as Thinking Machines’ “first general model,” stressing open weights, 975B parameters, native multimodality, and availability on Tinker, Hugging Face, and partners @soumithchintala.
- John Schulman added timeline context: pretraining began last winter, and from mid-January a small team built coding, reasoning, and agentic training on top @johnschulman2.
- Lilian Weng characterized Inkling as a foundation model aimed at “solid performance across a broad categories of capabilities” and intended for practical use plus customization @lilianweng.
- TML staff repeatedly emphasized that this is a day-1 release and a foundation for future iterations rather than their final frontier push @soumithchintala, @cHHillee, @keirp1.
- The release landed with unusually broad day-0 ecosystem support across vLLM, SGLang, Modal, Baseten, Databricks, Hugging Face, and quantization/community tooling @vllm_project, @lmsysorg, @modal, @baseten, @Yuchenj_UW, @huggingface, @danielhanchen.
- Independent commentators immediately tagged it as the strongest U.S.-based open-weight release so far, though generally still behind the top Chinese open-weight and best closed models on some benchmarks @natolambert, @ArtificialAnlys, @scaling01.
Core facts and specs
Model size, modality, licensing, context
- Inkling is reported as 975B total parameters / 41B active parameters in most posts @soumithchintala, @vllm_project, @ArtificialAnlys, @kimmonismus.
One tweet says 974B @Yuchenj_UW, and another says 952B @multimodalart; the overwhelming consensus in the tweet set is ~975B.
- It is a Mixture-of-Experts model with 41B active parameters per token @VictoriaLinML.
- It is Apache 2.0 licensed according to multiple reactions and summaries @natolambert, @Yuchenj_UW, @multimodalart.
- It supports text, image, and audio inputs, with text output @soumithchintala, @TheRundownAI, @ArtificialAnlys.
- Open-weights checkpoints support up to 1M context @vllm_project, @lmsysorg, @ArtificialAnlys.
- Tinker/API context is described as 256K, with pricing differentiated for 64K and 256K contexts @ArtificialAnlys.
Training and release details
- TML says Inkling was trained from scratch @miramurati, @LiorOnAI.
- Community readers extracted 45T training tokens from the release materials @eliebakouch, @ArtificialAnlys, while one post says 48T @mervenoyann. The more repeated figure in this dataset is 45T.
- Inkling includes controllable reasoning effort / numerical effort levels @LiorOnAI, @TheRundownAI, @danielhanchen.
- Tinker customers highlighted concise reasoning and strong tool calling rather than maximal raw benchmark chasing @tinkerapi, @MichaelElabd.
Architecture details surfaced in reactions
Several technically literate reactions extracted architectural choices from the release:
- Hybrid/sliding-window attention with a 5:1 local-to-global layer ratio and window size 512 @eliebakouch, @ariG23498.
- Relative positional encoding / relative attention bias instead of RoPE; multiple posters called this one of the most novel large-scale choices @stochasticchasm, @eliebakouch, @rasbt, @arohan, @ChangJonathanC.
- Short convolution layers added around attention/FFN streams; commenters flagged this as unusually scaled-up usage of short convs @eliebakouch, @stochasticchasm, @rasbt, @SonglinYang4.
- MoE with shared expert sinks / 2 shared experts, noted as atypical since many recent MoEs use 1 shared expert @eliebakouch, @ariG23498.
- DeepSeek-style auxiliary-loss-free load balancing was cited in community readings of the architecture @eliebakouch.
- muP and Muon/weight decay variants were inferred from the writeup and confirmed by optimizer expert reaction: Aaron Defazio said they are using his corrected weight decay approach, “MuonC/AdamC” @aaron_defazio, while community readers also pointed out muP @stochasticchasm, @Laz4rz.
- 8 MTP heads for speculative decoding were highlighted by vLLM @vllm_project.
Variants
- Inkling-Small is repeatedly referenced as an upcoming or separately discussed smaller model @LiorOnAI, @teortaxesTex.
- Community summaries describe Inkling-Small as 276B total / 12B active and unexpectedly competitive versus the larger model on several evaluations @eliebakouch, @nrehiew_.
Performance and benchmarks
Independent benchmark framing
- Artificial Analysis said Inkling debuts at 41 on the Intelligence Index, making it the leading U.S. open-weights release and ahead of Nemotron 3 Ultra (38), Gemma 4 31B (29), and gpt-oss-120b (24) @ArtificialAnlys.
- Artificial Analysis also said Inkling averages 25K output tokens per Intelligence Index task, vs 43K for GLM-5.2 max, 38K for Kimi K2.6, and 37K for DeepSeek v4 Pro max, framing it as relatively token-efficient @ArtificialAnlys.
- Natolambert called it a “clear step up from Nemotron Ultra” and “new best American model,” but still “a bit behind GLM 5.2 on agentic benchies, and Kimi K 2.6 on multi modal” @natolambert.
- Design Arena said Inkling entered Agentic Web App Arena at #9 overall, Elo 1257, in the same band as Claude Opus 4.6 and Gemini 3.5 Flash, and called it the highest-ranking U.S.-based open-weight model for agentic workloads @DesignArena.
- Arena added Inkling to Agent Arena / Text / Vision / Code Arena on launch day @arena.
Specific benchmark numbers cited
From Artificial Analysis:
- GDPval-AA v2 Elo 1238, higher than Kimi K2.6 (1190) and DeepSeek v4 Flash max (1189) @ArtificialAnlys.
- τ³-Banking 24%, above Kimi K2.6 (21%) and slightly above DeepSeek v4 Flash max (23%) @ArtificialAnlys.
Qualitative performance takes
Positive:
- “Sharp and concise” reasoning, not rambly @MichaelElabd.
- Strong tool calling and good long-horizon error recovery on agentic tasks @MichaelElabd.
- Good “quality of mind” / unsycophantic flavor @skirano, @tinkerapi.
- Alex Kirillov claimed Inkling avoids the common “audio in = intelligence penalty” seen in many omni models, though another user asked for stronger supporting evidence and benchmarks @alex_kirillov, @giffmana, @alex_kirillov.
More mixed / critical:
- Scaling01 argued the benchmarks are “not that great,” describing it as roughly “another Kimi-K2.6” and behind all closed models and GLM-5.2, speculating the release may have been timed ahead of Kimi-K3 and DeepSeek-V4-GA @scaling01.
- Stochasticchasm said it seems “very strong for multimodal” but “not super strong for terminal bench etc.” @stochasticchasm.
- JJitsev pushed back on hype around “only open-weight model trained without distilling,” saying Inkling uses distillation from open weights and underperforms GLM 5.2 on TerminalBench-style evals @JJitsev.
- TeortaxesTex offered a contrarian positive spin: mediocre benchmark-maxing may actually suggest less corner-cutting/distillation contamination and a more independent data pipeline @teortaxesTex.
Inference, systems, and launch ecosystem
Official and partner infrastructure facts
- NVIDIA said Inkling was trained on GB300 NVL72 and that an NVFP4 checkpoint was available on Hugging Face on day 0 @NVIDIAAI.
- vLLM said day-0 support includes NVFP4 and BF16, optimized for Blackwell and Hopper, reaching up to 380 tok/s/user on 4× GB200 with MTP @vllm_project.
- Inferact detailed system work: sconv-aware tensor-parallel sharding, low-latency fused collectives (5× faster at bs=1), and direct integration of TML’s FA4 sheared-bias kernel @inferact.
- LMSYS/SGLang said Inkling architecture support was implemented natively, including ShortConv, relative positional attention, shared expert sink MoE, prefill full CUDA graph, MXFP8 KV cache, full parameter and LoRA RL in customized Megatron backend, routing replay, cross-runtime parameter sync, and DFlash speculative decoding from Modal @lmsysorg.
- Modal said Inkling on Modal uses a custom DFlash speculator for 67% higher throughput and interactivity @modal.
- Soumith Chintala separately amplified that Modal’s DFlash speculator is “much faster than MTP” @soumithchintala.
Community optimization observations
- Lysandre reported replacing TML’s causal Conv1D with causal-conv1d yielded +4% tok/s, and replacing attention with FlashAttention-4 yielded another +11%, for ~15% total throughput gain without retraining @LysandreJik.
- Unsloth released 1-bit GGUF quants said to be 86% smaller (270GB vs 1.9TB) while retaining 74.2% of top-1% accuracy, with vision and audio support @danielhanchen.
Pricing and availability
- Artificial Analysis listed Tinker pricing as:
64K context: $1.87 / 1M input, $0.374 cached, $4.68 output
- 256K context: $3.74 / 1M input, $0.748 cached, $9.36 output
@ArtificialAnlys
- Available on Tinker, Hugging Face, and via launch partners including Databricks, Baseten, Modal, vLLM/SGLang stacks @soumithchintala, @Yuchenj_UW, @baseten, @modal.
Facts vs opinions
Factual claims directly supported by launch and partners
- Open weights/full weights released @thinkymachines.
- Trained from scratch @miramurati.
- 975B total / 41B active MoE, multimodal text-image-audio input, 1M context on weights, 256K on Tinker/API @soumithchintala, @ArtificialAnlys.
- Apache 2.0 license @natolambert, @Yuchenj_UW.
- Pretraining began last winter; agentic/coding/reasoning work started mid-January @johnschulman2.
Day-0 support on major serving stacks, with concrete performance claims from vLLM/Inferact/Modal/NVIDIA @vllm_project,
関連記事
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み