Vercel AI Gateway、サービスティア対応へ

AI Gateway にサービスティア機能が追加されました。この機能を使えば、ユースケースに合わせてレイテンシ、スループット、リクエストあたりのコストを最適化できます。

対話型ワークロードには高速なティアを選択してキューイングを減らしトークン処理量を最大化するか、多少の遅延に耐えられるバッチジョブには低コストなティアを選ぶことが可能です。

現在、この機能は OpenAI および Gemini モデルで利用可能です。

サービスティアは、AI Gateway がサポートするすべての API 形式（AI SDK、Chat Completions API、Anthropic Messages API、OpenAI Responses API、OpenResponses API）で動作します。Gateway はリクエストに使用されたティアに基づいて請求額を自動調整します。

利用可能なティア

• default: 標準的な処理モード
• priority: コストは上がりますが、より高速な処理を実現
• flex: コストを抑えますが、レイテンシが高くなる可能性があります

サービスティアを指定しない場合、リクエストは自動的に default ティアで実行されます。

基本的な使い方

providerOptions.gateway 配下に serviceTier を設定してください。このオプションは、サービスティアをサポートするすべてのモデルやプロバイダーで共通して動作するため、モデルを切り替える際にもプロバイダ固有の設定を再構築する必要はありません。

適用されたティア情報はプロバイダーのメタデータに含まれるため、どのティアがリクエストに応じたかを確認できます。これは、優先処理のリクエストがデフォルト容量にフォールバックした場合や、異なるティア間のレイテンシを比較する際に役立ちます。

サービスティアはベストエフォート（尽力の範囲）で提供されます。特定のティアを適用できない場合、リクエストはデフォルトレートで default ティアとして実行されます。エラーとなるのは、無効なサービスティア値が指定された場合のみです。

複数のプロバイダーでモデルをサービス提供する場合、一部の提供者のみでサービスティアを設定したい場合や、各提供者ごとに異なるティアを構成したい場合は、各提供者のネームスペース自体にティアを設定してください。

料金体系

AI Gateway は、リクエストが実際に使用したティアに基づき、自動的に各ティアごとの料率を適用します。例えば、優先度の高いリクエストがデフォルト容量へダウングレードされた場合、請求は優先料率ではなくデフォルト料率で計算されます。

サービスティアの比較

• default: デフォルト設定。コストは基準（Baseline）です。
• priority: 優先権を持つ設定。コストはデフォルト料金の約1.8〜2倍です。
• flex: フレキシブルな設定。コストはデフォルト料金の約0.5倍です。

プロバイダーやティアの詳細については、サービスティアのリファレンスをご参照ください。

さらに詳しく読む