Together AI、オープン重み推論プラットフォームを発表

推論プラットフォームの大幅アップデート

このたび、インフラ構築の手間を省きながら、パフォーマンス・コスト・品質を完全に制御できる推論プラットフォームの重大な更新を発表します。モデルは数分で稼働し、すべてのデプロイメントが最初から本番環境レベルです。

1 つの安定したエンドポイントの下で複数のデプロイメントを実行したり、カノピー展開、ブルーグリーン展開、ローリング展開といった安全な変更手法を使って、設定した閾値に達すると自動ロールバックされる仕組みを活用できます。また、A/B テストやシャドウテストを通じて実際のトラフィック上で検証し、1 つのリージョンだけでなく複数のリージョンにわたってオートスケーリングも可能です。

さらに、カスタムトレーニングのクローズドベータも開始します。フルウェイトと LoRA による強化学習、および教師あり微調整に対応し、取得したチェックポイントをそのまま本番環境へデプロイできます。カスタムトレーニングベータへのアクセスは こちら からリクエストしてください。

今日から最初のエンドポイントを開始しましょう。

8 月 6 日のウェビナーでは、詳細を深掘りします。参加はこちら。

オープンウェイトモデルは、品質においてクローズドモデルと肩を並べるだけでなく、実行コストも大幅に抑えられ、タスクに合わせて完全にカスタマイズ可能です。この組み合わせにより、本格的な AI プロダクトやエージェントを開発するチームにとって、基盤となる選択肢となっています。しかし、オープンウェイトモデルを採用する戦略的な動機は、やはり「制御権を握れる点」にあります。クローズドモデルとは異なり、オープンウェイトモデルを使えば、パフォーマンス、品質、機能性に対するコントロールをチームが直接握ることができます。

多くの商用 AI アプリケーションでは、ユーザーエクスペリエンスを完全に管理するために、主要なエンドポイントでオープンウェイトモデルを採用する戦略 を採用しています。また、多くの企業はこの制御権を活用し、貴重な独自知的財産（IP）をモデルに組み込みながら、第三者への情報漏洩リスクを負わずに済ませています。

オープンウェイトモデルの利用者は、パフォーマンス、機能性、品質に対する最大限のコントロールを望んでいますが、週ごとに量子化レベル、並列処理方式、エンジンパラメータ、ドラフトモデルアーキテクチャといった意思決定のマトリックスを正しく調整する能力を試すことを好むチームはほとんどいません。一方で、最高の品質とパフォーマンスを実現するための最先端技術も、目まぐるしい勢いで進化し続けています。急速に変化する AI 環境において、推論内部の詳細や膨大な研究論文を読み込む時間や意欲を持つ人はいません。世界で最も成功しているモデルやエージェントを運用するチームでさえ例外ではありません。

Together AI は、月間 400 兆トークン以上の推論処理実績から得た知見を応用し、以下の特徴を持つ推論プラットフォーム「Dedicated Model Inference」を提供しています。

• ユーザーがモデル、パフォーマンス、コスト、品質、機能性を完全にコントロールできる
• 各推論スタックやエンドポイント管理層を一から構築することで生じる時間損失、資金の無駄、意図しないダウンタイムを防ぐ
• 最新の検証済み研究 を継続的に取り入れ、最先端レベルのパフォーマンス、品質、効率を実現する

今回のアップデートでは、当社の研究チーム、モデル最適化チーム、プラットフォームエンジニアリングチームの知見を統合し、オープンウェイトモデルやライセンス付きクローズドウェイトモデル、ファインチューニング済みモデルを本番環境でより手軽に、信頼性高く、最適な形で運用できるサービスとしてまとめました。

この「コントロール」と「シンプルさ」を両立させるためには、推論を単に API の背後でモデルをホストするだけのことと捉えてはいけません。実行精度、デプロイするハードウェア、サービング設定、そしてトラフィックのスケーリングやルーティングの方法は、すべてパフォーマンス、信頼性、コストに大きな影響を与えます。

このプラットフォームは、実験段階から本番環境へ移行する際に、プラットフォームの変更やデプロイの再構築を必要としないように設計されています。本番環境での運用準備 は、まだテストや反復改良を行っている段階でも基盤に組み込まれています。

つまり、新しいバージョンを安全にリリースしたり、実トラフィックに対して変更を検証したり、本番リクエストのシャドウテストを行ったり、デプロイ間でトラフィックをルーティングしたり、需要に応じてスケールしたり、想定通りに動作しない場合はロールバックしたりすることが可能です。

Decagon の Max Lu はこの変化を以下のように説明しています。

*Together によって、音声における遅延はすでに必要なレベルに達しました。新しい推論プラットフォームが変えるのは、次のモデルバージョンのリリース方法です。ライブトラフィックの一部で新しいファインチューニング済みモデルをカナリア展開し、主要な指標が悪化した場合は自動的にロールバックできます。これにより、「高速な推論」から「毎週安全に改善できる高速な推論」へと進化します。

*

究極的に私たちが実現したかったのは、単なる高速・効率的な推論だけでなく、不要なリスクを導入することなく、提供しているものを継続的に改善できる能力です。Together がすでに最適化済みのパスから始め、ワークロードがより専門的になるにつれて制御を強化していくことができます。この原則は、モデルの取り込みや設定方法から、スケール、変更のテスト、パフォーマンスの監視、新バージョンの本番環境への展開に至るまで、プラットフォーム全体に反映されています。

提供したいモデルを選ぼう

Together のモデルプラットフォームからデプロイするか、独自のオープンウェイトモデルやファインチューン済みモデルを持ってくることも可能です。Hugging Face、S3、ローカルマシンからフルモデルの重み（weights）やアダプターをアップロードできます。

このプラットフォームは、初期のファインチューニング段階から、最終的に本番トラフィックを支えるバージョンに至るまで、モデルのライフサイクル全体をサポートするように設計されています。

モデルの実行方法を選ぼう

デプロイにおいて重要なのはモデルそのものだけではありません。ハードウェアの種類、量子化（quantization）、テンソル並列処理（tensor parallelism）、スペキュレーティブ・ディコーディング（speculative decoding）、そしてサービングエンジンなど、さまざまな要素がワークロードのパフォーマンスと経済性に影響します。

これらの選択肢すべてに精通する必要はありません。Together のデプロイメントプロファイルには、研究チームやエンジニアリングチームがすでに検証し最適化した設定がパッケージ化されています。ゼロから構成を組むのではなく、実績のあるセットアップから始められるのです。より細かな制御が必要になった場合でも、これらのオプションはいつでも利用可能です。異なるハードウェアや最適化プロファイルを選択でき、必要に応じてレイテンシ重視、スループット重視、あるいはそのバランス型など、目的に合わせて最適な設定を選べます。

モデルの起動待ち時間を短縮

モデルが大型化するほど、数百ギガバイトに及ぶ重みデータを配置する作業が起動時間の大半を占めるようになります。そこで私たちはモデルキャッシュと配信レイヤーを再構築し、ファーム全体で重みを共有できるようにするとともに、デプロイが必要になる前に事前に読み込んでおく仕組みを導入しました。内部テストでは、この改善により主要な最先端モデルのウォームスタート時間が約 4 倍高速化されました。

デプロイの規模と場所を自在に制御

モデルを実行するリージョンを特定のものに固定するか、柔軟な配置にするかを選べます。また、トラフィックの変化に対してデプロイがどのように対応するかを定義することも可能です。

異なるワークロードには需要を示す指標も異なります。そのため、自動スケーリングは単一の汎用メトリクスに限定されるべきではありません。プラットフォームは適切なデフォルト値を提供しつつ、必要に応じて inflight requests（進行中のリクエスト）、GPU 利用率、最初のトークンまでの時間、レイテンシ、デコード速度、スループットなど、ワークロードに応じた具体的な指標に基づいてスケーリングを調整できます。

デプロイが進化してもエンドポイントを安定させる

推論用エンドポイントは、もはや単一の静的なデプロイに紐付く必要はありません。同じエンドポイントの背後に、異なるモデル重み、ハードウェア、またはサービング設定を持つ複数のデプロイを作成することが可能です。

これにより、API の背後で何を実行しているかをアプリケーション側の呼び出し方を変更することなく変更できます。エンドポイントは安定したまま、その背後にあるデプロイを進化させることができるため、モデルや設定のテスト、ロールアウト、置き換えをアプリケーション層を再構築することなく容易に行えます。

安全に変更を本番環境へ反映

カナリア展開、ブルーグリーンデプロイ、ローリングアップデートを活用して、新しいモデルバージョンや設定を段階的に導入します。

このプラットフォームは、トラフィックの制御とデプロイメントライフサイクルを管理し、変更がどの程度早く進行するか、またいつ停止またはロールバックすべきかをユーザーがコントロールできるようにします。ロールアウトのための基盤を自ら構築する必要なく、必要な生産環境での制御機能をすぐに利用できます。

ユーザーにリスクを負わせることなく、実際のトラフィックでテストする

A/B テストを活用して、異なるデプロイメント間にトラフィックの一部を振り分け、その挙動を直接比較できます。また、シャドウトラフィック機能を使えば、ユーザーへの応答に影響を与えることなく、本番環境の要求を新しいデプロイメントに複製して検証可能です。

これにより、オフラインベンチマークや合成テストだけに頼るのではなく、実際に意味のあるトラフィックを使って、新しいモデルの重み、設定、ハードウェアを評価することが可能になります。

何が起こっているかを可視化する

新プラットフォームでは、組織レベルでスクリプト可能な Prometheus エンドポイントが提供されます。お好みの観測ツールに接続してダッシュボードを作成したり、アラートを設定したり、ロールアウトの健全性を監視したり、A/B テストのバリアントを比較したり、シャドウトラフィックと本番環境のパフォーマンスを測定したりできます。

また、Together 内でデプロイメントの健全性、トラフィック、パフォーマンス、スケーリング挙動がより直感的に理解できるよう、製品内の分析機能も刷新しました。

強化学習ベータへの参加

推論プラットフォームと並行して、カスタムトレーニングのためのクローズドベータも開始します。ここではフルウェイトおよび LoRA の強化学習、さらに高度な教師あり微調整（SFT）を利用可能です。Python SDK と細粒度のプリミティブを通じてトレーニングを構成でき、専用リソース上で複数の LoRA 実験を並行して実行できます。

カスタムトレーニングにより、実験と本番環境が直接連携します。評価可能なチェックポイントができたら、そのまま推論デプロイメントにネイティブ展開できます。トレーニングからサービングへの手動引き継ぎは不要で、ポストトレーニング実験から本番評価へ移行する際にもセットアップの再構築は必要ありません。

クローズドベータ期間中はアクセス制限があります。

こちら からアクセス申請を行い、利用を開始してください。

次のステップ

今回のアップデートは始まりに過ぎません。これは、モデルライフサイクルの各段階で異なるシステムを組み合わせる必要なく、トレーニング・最適化・デプロイ・評価・継続的改善を一貫して行えるプラットフォームの基盤です。

オープンウェイトモデルは、企業に対し品質・パフォーマンス・コストに関する大きな制御権を与えます。私たちの役割は、その制御権を誰もが利用できるようにし、推論を DIY インフラプロジェクトに変えないことです。つまり、すぐに使えるデフォルト設定と、すでに最適化済みの構成を提供し、必要に応じてより深い制御を実現することです。

今後数週間にわたり、デプロイメントプロファイルやモデル起動、オートスケーリング、観測性（observability）、ロールアウト、A/B テスト、シャドウトラフィックなど、プラットフォームを支えるシステムについて詳しく解説していきます。

現時点では、新設された「Dedicated Model Inference」プラットフォームが利用可能です。このプラットフォームを活用すれば、初期の試作段階から本番環境への移行をスムーズに行い、サービス開始後も継続的な改善を実現できます。

→ 利用を開始する

→ チームにお問い合わせ

→ ドキュメントを読む

→ ウェビナーに参加登録