Vercel AI Gatewayでタイムアウトをカスタマイズし、自動フェイルオーバーを高速化
本文の状態
日本語全文を表示中
詳細モードで約1分の本文を読めます。
同じ出来事の情報源
この情報源を基点に整理
Vercel Blog
Vercel AI Gatewayが推論プロバイダーごとのタイムアウト設定を導入し、プロバイダーのデフォルト設定よりも高速なフェイルオーバーを実現した。設定したタイムアウト内に応答がない場合、Gatewayはリクエストを中止し、次の利用可能なプロバイダーに切り替える。
Source Article
元記事を日本語で読む
本文に関係しない購読案内、埋め込み通知、サイト内プロモーションは除いています。
タイトル: Vercel AI Gatewayでより高速なフェイルオーバーのためのカスタムタイムアウト設定
AI Gatewayは、プロバイダー規定の設定よりも高速なフェイルオーバーを実現するため、推論プロバイダーごとのタイムアウト設定をサポートしました。設定したタイムアウト時間内にプロバイダーが応答を開始しない場合、AI Gatewayはリクエストを中止し、次に利用可能なプロバイダーにフェイルバックします。
プロバイダータイムアウト機能は現在ベータ版で、BYOK（Bring Your Own Key）認証情報でのみ利用可能です。システムプロバイダーのタイムアウト対応は近日提供予定です。一部のプロバイダーはストリームキャンセルをサポートしていないため、プロバイダーによってはタイムアウトしたリクエストに対しても課金が発生する可能性があります。
基本的な使用方法
providerOptions.gateway内のproviderTimeoutsを使用して、プロバイダーごとのタイムアウトをミリ秒単位で設定します。
複数プロバイダーとフェイルオーバーを使用した高度な使用方法
orderと組み合わせて使用することで、プロバイダーの呼び出し順序とフェイルオーバーの速度の両方を制御できます。
詳細については、カスタムプロバイダータイムアウトのドキュメントをお読みください。
Read more
原文を表示
AI Gateway now supports per-inference provider timeouts for faster failover than the provider default. If a provider doesn't start responding within your configured timeout, AI Gateway aborts the request and falls back to the next available provider.
Provider timeouts are available in beta for BYOK (Bring Your Own Key) credentials only, with support for system provider timeouts coming soon. Note that some providers don't support stream cancellation, so you may still be charged for timed-out requests depending on the provider.
Basic usage
Set timeouts per provider in milliseconds using providerTimeouts in providerOptions.gateway.
Advanced usage with multiple providers and failover
Use with order to control both the provider sequence and failover speed.
For more information, read the custom provider timeouts documentation.
Read more
今日のまとめ
AIデイリーブリーフで今日の重要ニュースをまとめ読み