AI Gatewayでプロバイダーごとのカスタムタイムアウト機能が利用可能に
本文の状態
日本語全文を表示中
詳細モードで約1分の本文を読めます。
同じ出来事の情報源
この情報源を基点に整理
Vercel Blog
AI Gatewayが推論プロバイダーごとのタイムアウト設定を導入し、応答が遅い場合に次のプロバイダーへ自動的にフェイルオーバーする機能を提供した。現在はBYOK認証でのみベータ版として利用可能。
Source Article
元記事を日本語で読む
本文に関係しない購読案内、埋め込み通知、サイト内プロモーションは除いています。
改善版翻訳文
AI Gatewayでは、高速フェイルオーバーのため、推論プロバイダーごとのタイムアウトを設定できるようになりました。設定したタイムアウト時間内にプロバイダーが応答を開始しない場合、AI Gatewayはそのリクエストを中止し、次に利用可能なプロバイダーへフェイルオーバーします。
プロバイダータイムアウト機能は、現在ベータ版として、BYOK (Bring Your Own Key) 認証情報でのみ利用可能です。なお、一部のプロバイダーはストリームキャンセルに対応していないため、プロバイダーによってはタイムアウトしたリクエストに対しても課金が発生する可能性がありますので、ご注意ください。
基本的な使い方
providerOptions.gateway内のproviderTimeoutsを使用して、プロバイダーごとのタイムアウトをミリ秒単位で設定します。
複数プロバイダーとフェイルオーバーを使用した高度な使い方
orderと併用することで、プロバイダーへの問い合わせ順序とフェイルオーバーの速度の両方を制御できます。
詳細については、カスタムプロバイダータイムアウトのドキュメントをご覧ください。
続きを読む
原文を表示
AI Gateway now supports per-inference provider timeouts for fast failover. If a provider doesn't start responding within your configured timeout, AI Gateway aborts the request and falls back to the next available provider.
Provider timeouts are available in beta for BYOK (Bring Your Own Key) credentials only. Note that some providers don't support stream cancellation, so you may still be charged for timed-out requests depending on the provider.
Basic usage
Set timeouts per provider in milliseconds using providerTimeouts in providerOptions.gateway.
Advanced usage with multiple providers and failover
Use with order to control both the provider sequence and failover speed.
For more information, read the custom provider timeouts documentation.
Read more
関連記事
今日のまとめ
AIデイリーブリーフで今日の重要ニュースをまとめ読み