Vercel AI Gatewayでタイムアウトをカスタマイズして自動フェイルオーバーを高速化
本文の状態
日本語全文を表示中
詳細モードで約1分の本文を読めます。
同じ出来事の情報源
この情報源を基点に整理
Vercel Blog
VercelがAI Gatewayで推論プロバイダーごとのタイムアウト設定をベータ提供し、設定時間内に応答がない場合に次のプロバイダーへ自動的に切り替えることで、フェイルオーバーを高速化する。
Source Article
元記事を日本語で読む
本文に関係しない購読案内、埋め込み通知、サイト内プロモーションは除いています。
タイトル: Vercel AI Gatewayでフェイルオーバーを高速化するプロバイダー別タイムアウトのカスタマイズ
AI Gatewayは、プロバイダーのデフォルト設定よりも高速なフェイルオーバーを実現するため、推論プロバイダーごとのタイムアウト設定をサポートしました。設定したタイムアウト時間内にプロバイダーが応答を開始しない場合、AI Gatewayはリクエストを中止し、次に利用可能なプロバイダーにフェイルオーバーします。
プロバイダータイムアウトは、現在ベータ版としてBYOK（Bring Your Own Key）認証情報でのみ利用可能です。システムプロバイダータイムアウトのサポートは近日提供予定です。なお、一部のプロバイダーはストリームキャンセルをサポートしていないため、プロバイダーによってはタイムアウトしたリクエストに対しても課金される可能性がある点にご注意ください。
基本的な使用方法
providerOptions.gateway内のproviderTimeoutsを使用して、プロバイダーごとのタイムアウトをミリ秒単位で設定します。
複数のプロバイダーとフェイルオーバーを使用した高度な使用方法
orderと併用することで、プロバイダーの呼び出し順序とフェイルオーバーの速度の両方を制御できます。
詳細については、カスタムプロバイダータイムアウトのドキュメントをご覧ください。
詳細を読む
原文を表示
AI Gateway now supports per-inference provider timeouts for faster failover than the provider default. If a provider doesn't start responding within your configured timeout, AI Gateway aborts the request and falls back to the next available provider.
Provider timeouts are available in beta for BYOK (Bring Your Own Key) credentials only, with support for system provider timeouts coming soon. Note that some providers don't support stream cancellation, so you may still be charged for timed-out requests depending on the provider.
Basic usage
Set timeouts per provider in milliseconds using providerTimeouts in providerOptions.gateway.
Advanced usage with multiple providers and failover
Use with order to control both the provider sequence and failover speed.
For more information, read the custom provider timeouts documentation.
Read more
関連記事
今日のまとめ
AIデイリーブリーフで今日の重要ニュースをまとめ読み