#プロバイダ管理 のAIニュース

AI Gateway でプロバイダーをコスト、レイテンシ、スループット順に並べ替え可能に

Vercel は AI Gateway の新機能として、モデル背後のプロバイダーをコスト、初トークンまでの時間（TTFT）、またはスループット（TPS）の基準で明示的に並べ替える機能を追加した。これにより、各プロバイダー間の価格や速度の違いが大きい場合でも、ユーザーは最適な次元でランキングを制御できるようになった。