Together AI、予測可能で便利な「プロビジョニング済みスループット」を発表
Together AI は、AI モデル利用時の処理速度の安定とリソース確保の容易化を目的とした新機能「プロビジョニング済みスループット」を導入した。
キーポイント
予測可能なパフォーマンスの実現
従来のオンデマンド利用における変動する処理速度に代わり、ユーザーが事前にリソースを確保することで安定したスループットを提供する仕組みとなった。
開発・運用コストの最適化
予測可能なパフォーマンスにより、アプリケーションの設計やスケール戦略が容易になり、インフラ管理における不確実性が大幅に低減される。
プロビジョニング済みスループットの導入
Together AI が発表した新機能は、リソースの確保をシームレスに行い、ビジネスレベルの信頼性を担保する新たな標準として機能する。
影響分析・編集コメントを表示
影響分析
この機能は、AI モデルを本番環境で安定稼働させる必要がある企業にとって、インフラの信頼性を劇的に向上させる重要なステップです。特に、予測不可能な遅延が許容されないリアルタイム処理や大規模バッチ処理において、サービス品質の維持に寄与し、LLM のビジネス実装における障壁を下げると考えられます。
編集コメント
本機能は、AI モデルの安定稼働を最優先するビジネスユースケースにおいて、インフラ管理の負担を軽減し、開発スピードを加速させる実用的な進化と言えます。
概要
私たちは、トークンベースの価格設定と 99% の稼働率 SLA を備えた、最先端オープンモデル向けの予約済み推論容量「Provisioned Throughput」を導入することを嬉しく思います。
オープンウェイトモデルは、豊かで未来のある AI を望むあらゆる企業にとって不可欠な要素となっています。しかし歴史的に、オープンウェイトモデルを利用する際、企業は便利だがベストエフォート型のサーバーレスか、強力だが調整可能な専用推論のどちらかを選ばなければなりませんでした。Provisioned Throughput は、トークン価格で事前最適化されたモデルの簡便さと、可用性 SLA を伴う保証された容量による予測可能性を兼ね備えた、新たな推論フォームファクターです。リスト価格は Claude Opus 4.8 よりも最大 90% 低コストです。
本日は MiniMax M3 および GLM-5.2 で利用可能となり、北米、EMEA（欧州・中東・アフリカ地域）、およびその他の地域で容量を提供しています。契約期間は最低 1 ヶ月です。
推論への支出は、取締役会が質問する項目の一つとなっています。
遠くない将来、すべての知識労働者が複数のエージェントを自分のために働かせるようになるでしょうが、企業は膨大な推論予算なしにこれを達成することに苦戦しています。成功するためには、パレートフロンティア全体にわたる多様なモデルを活用し、タスクの難易度とモデルの品質（およびコスト）を一致させる必要があります。オープンウェイトモデルは、そのフロンティアにおいてますます大きな割合を占めるようになっています。
企業がマルチモデル、マルチハーンセットアップへと移行するにつれ、オープンモデルはコーディング、財務、マーケティング、ワークフロー自動化のための日常のエージェントの多くを支えるようになってきています。
スイッチを切り替えた企業からは、オープンモデルにおける推論コストが専用モデルと比較して 6〜20 倍低下したとの報告があります。私たちの数値でもそのシフトを確認しています：Together AI の API を通じたトークン量は、9 ヶ月間で月額 300 億から 4,000 兆以上へと急増しました。このトラフィックの相当部分は、従来はクローズドな API で実行されていたワークロードです。
何が欠けていたか：信頼できるトークン容量
豊富な AI を実現するには、パレートフロンティア上のオープンモデルだけでは不十分です。豊富な AI には安心感も必要であり、それはコミットされた容量、予測可能（かつ影響を与えられる）な価格設定、そして顧客が依存できる SLA（サービスレベルアグリーメント）を意味します。これまでオープンモデル市場には 2 つの選択肢しかなく、どちらもこの要件を満たしていませんでした。サーバーレス推論は基本的にベストエフォート型であり、開発用途には適していますが、本番環境のワークロードでは予測不可能です。一方、専用推論（つまり専用 GPU）は保証とサービング環境への完全な制御を提供しますが、多くのチームが完全に構成可能な推論プラットフォームの複雑さを管理したくありません。彼らが求めているのは、GPU 時間の計算や容量計画、設定が必要なサービングスタックではなく、シンプルな API の背後にある信頼できるモデルプロバイダーです。
チームが実際に求めているものはシンプルです：クローズドモデルプロバイダーとの間で既に結んでいるのと同じトークンベースの容量契約を、フロンティア級のオープンモデル向けに適用すること。それが私たちが構築した製品です。
Introducing Provisioned Throughput
Together AI のサーバーレス推論が「使用した分だけ支払い」のベストエフォート SLA であるのに対し、プロビジョンドスループットは「利用するための保証された容量に対して支払い」を行うアップタイム SLA です。
ユーザーはプロビジョンドスループットユニット（PTU）を購入します。各 PTU は固定された容量のスライスであり、実行中のモデルに対する 1 分あたりのトークン数という保証されたレートで、専用に確保されます。価格は PTU あたり 1 分ごとに 0.05 ドルです。プロビジョンドスループットはトラフィックの変動に対応します。入力トークン、キャッシュされた入力、出力トークンはそれぞれ異なる方法で PTU を消費するため、ユーザーのトラフィックパターンに応じて支出を最適化できます。GPU 時間の計算やインフラストラクチャの管理は不要です。プロビジョンドスループット、専用推論（Dedicated Inference）、およびサーバーレス推論のための推論 API は同一です。
プロビジョンドスループットは現在、MiniMax M3 および GLM-5.2 で利用可能であり、今後さらに多くのモデルが追加されます。北米、EMEA（欧州・中東・アフリカ地域）、およびその他の地域で容量を利用でき、最小契約期間は 1 ヶ月です。コミットメントのレベルが高くなるほど割引が適用されます。
「当社のモデルは過酷な本番環境ワークロード向けに構築されており、Together AI のプロビジョンドスループットにより、チームはこれらのワークロードが必要とする信頼性を持って実行できます。クローズド API からのボリュームシフトが進む中、Together AI のインフラストラクチャにより、ビジネスの基盤となるコミットメントを伴って M3 をスケールして採用することが可能になります。まさに私たちがモデルに提供したいアクセス形態です。」
— Linda Sheng、MiniMax グローバルビジネス担当プレジデント
The economics
PTU は、入力トークン、キャッシュされた入力トークン、出力トークンの 3 つのトラフィックタイプをカバーしており、それぞれが異なる速度で容量を消費します。MiniMax M3 では、1 PTU で毎分 138,840 の入力トークン、または毎分 694,200 のキャッシュされた入力トークン、あるいは毎分 23,140 の出力トークンを処理できます。これら 3 つの組み合わせも可能です。
PTU は、入力トークン、キャッシュされた入力トークン、出力トークンのいずれにおいても消費されます。実際のワークロードにはさまざまな形状があります。出力中心のトラフィックは、キャッシュ効率の高いトラフィックよりも容量をより速く消費しますが、トラフィックの形状が SLA（サービスレベルアグリーメント）を変えることはありません。それは単に、容量をどのくらいの速度で消費するかという点のみを変えます。
フル稼働時、MiniMax M3 における PTU のコストは、出力トークン 100 万あたり約 2.16 ドルです（Claude Opus 4.8 のリスト価格は 25 ドル）。代表的な 3 つの生産環境プロファイルにわたって比較すると：
フロンティアのオープンモデルは、クローズドモデルとの性能格差を大幅に縮めつつ、実世界のワークロードではコストを 90% 削減しています。これらは推定値です。実際の PTU 使用量は、お客様のトラフィック形状によって変動します。価格計算ツールで独自の数値を確認する
どこに位置するか
サーバーレスは、オープンモデル上で構築を始めるための最速の方法です。プロビジョンドスループット（Provisioned Throughput）は、保証が必要な標準的なオープンモデル上の本番ワークロード向けです。サービング環境に対する深い制御が必要で、微調整済みまたはカスタムモデルを利用したい場合は、専用推論（Dedicated Inference）が最適な選択肢となります。
フロンティア級のオープンモデルが処理できるプロプライエタリ API で本番トラフィックを運用している場合、移行パスはすでに完成しています。それは、フロンティア品質のモデル、計画可能なトークンベースの価格設定、そして顧客が信頼できる信頼性の保証であり、コストは最大 90% 削減可能です。
原文を表示
Summary
We're excited to introduce Provisioned Throughput, reserved inference capacity for frontier open models with token-based pricing and a 99% uptime SLA.
Open weight models have become the essential ingredient for any company that wants an abundant AI future. But historically to use open weight models companies have had to choose between convenient but best-effort serverless or powerful but tunable dedicated inference. Provisioned Throughput is a new inference form factor that offers an alternate option that gives customers the simplicity of pre-optimized models at token prices with the predictability of guaranteed capacity in with an availability SLA. Costs run up to 90% below Claude Opus 4.8 at list price.
Available today for MiniMax M3 and GLM-5.2, with capacity in North America, EMEA, and beyond, and a one-month minimum term.
Inference spend has become a line item the board asks about.
In a not too distant future every knowledge worker will have several agents working on their behalf, but companies are struggling to achieve this without astronomic inference budgets. To succeed companies need to consume a range of models that span the Pareto frontier, matching task difficulty with model quality (and cost). Open weight models occupy an ever-greater fraction of that frontier.
As companies move to a multi-model, multi-harness setup, open models are powering more and more of their everyday agents for: coding, finance, marketing, and workflow automation.
Companies that have made the switch report 6-20x lower inference costs on open models compared to proprietary alternatives. We see the shift in our own numbers: In nine months, token volume through Together AI's APIs has grown from 30 billion to more than 400 trillion tokens a month. A substantial share of that traffic is workloads that used to run on closed APIs.
What's been missing: Token capacity you can trust
Abundant AI requires more than open models on the Pareto frontier. Abundant AI also requires peace of mind: committed capacity, predictable (and influenceable) pricing, and an SLA customers can depend on. Until now, the open-model market offered two options, and neither matched that shape. Serverless inference is largely best-effort: fine for development, but unpredictable for production workloads. Dedicated inference (i.e. dedicated GPUs) gives you guarantees and full control of the serving environment, but many teams don't want to manage the complexity of a fully configurable inference platform. They want a dependable model provider behind a simple API, not GPU-hour math, capacity planning, and a serving stack to configure.
What teams actually want is simple: The same token-based capacity agreement they already have with their closed-model provider, pointed at frontier open models. That's the product we built.
Introducing Provisioned Throughput
Whereas Together AI’s serverless inference is “pay for what you use” with a best effort SLA, Provisioned Throughput is “pay for the guaranteed capacity to use” with an uptime SLA.
You buy Provisioned Throughput Units (PTUs). Each PTU is a fixed slice of capacity: a guaranteed rate of tokens per minute for the model you're running, held exclusively for you, priced at $0.05 per PTU per minute. Provisioned Throughput accounts for variations in your traffic; input, cached input, and output tokens burn down PTUs differently allowing you to optimize spend for your traffic patterns. There's no GPU-hour math and no infrastructure to manage. The inference API for Provisioned Throughput, Dedicated Inference and Serverless Inference is identical.
Provisioned Throughput is available today for MiniMax M3 and GLM-5.2, with more models coming. We have capacity available in North America, EMEA, and beyond, with a one-month minimum term and discounts at higher levels of commitment.
"Our models are built for demanding production workloads and Together AI's Provisioned Throughput gives teams a way to run them with the reliability those workloads require. As teams shift volume off closed APIs, Together AI's infrastructure lets them adopt M3 at scale with commitments they can build a business on. That's exactly the kind of access we want for our models."
— Linda Sheng, President of Global Business, MiniMax
The economics
A PTU covers three types of traffic: input tokens, cached input tokens, and output tokens, each drawing down your capacity at a different rate. On MiniMax M3, one PTU delivers 138,840 input tokens per minute, 694,200 cached input tokens per minute, 23,140 output tokens per minute, or any mix of the three.
Real workloads have different shapes. Output-heavy traffic consumes capacity faster than cache-efficient traffic, but traffic shape never changes the SLA. It only changes how fast you consume your capacity.
At full utilization, a PTU on MiniMax M3 works out to roughly 2.16 per million output tokens, against 25 list on Claude Opus 4.8. Across three representative production profiles:
These are estimates. Actual PTU usage will vary with your traffic shape. Run your own numbers in the pricing calculator
Where it fits
Serverless is the fastest way to start building on open models. Provisioned Throughput is for production workloads on standard open models that need guarantees. If you need a fine-tuned or custom model with deep control over the serving environment, Dedicated Inference is the right fit.
If you're running production traffic on a proprietary API that a frontier open model can handle, the migration path is now complete: frontier-quality models, token-based pricing you can plan around, and reliability guarantees your customers can depend on, at up to 90% lower cost.
関連記事
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み