#信頼性設計 のAIニュース
2件の記事
Vercel AI Gatewayでタイムアウトをカスタマイズして自動フェイルオーバーを高速化
VercelがAI Gatewayで推論プロバイダーごとのタイムアウト設定をベータ提供し、設定時間内に応答がない場合に次のプロバイダーへ自動的に切り替えることで、フェイルオーバーを高速化する。
Vercel Blog·3月5日
Vercel AI Gatewayでタイムアウトをカスタマイズし、自動フェイルオーバーを高速化
Vercel AI Gatewayが推論プロバイダーごとのタイムアウト設定を導入し、プロバイダーのデフォルト設定よりも高速なフェイルオーバーを実現した。設定したタイムアウト内に応答がない場合、Gatewayはリクエストを中止し、次の利用可能なプロバイダーに切り替える。
Vercel Blog·3月5日