ページを読み込み中…
ページを読み込み中…
2件の記事
VercelがAI Gatewayで推論プロバイダーごとのタイムアウト設定をベータ提供し、設定時間内に応答がない場合に次のプロバイダーへ自動的に切り替えることで、フェイルオーバーを高速化する。
Vercel AI Gatewayが推論プロバイダーごとのタイムアウト設定を導入し、プロバイダーのデフォルト設定よりも高速なフェイルオーバーを実現した。設定したタイムアウト内に応答がない場合、Gatewayはリクエストを中止し、次の利用可能なプロバイダーに切り替える。