AI Gatewayでプロバイダーごとのカスタムタイムアウト機能が利用可能に
VercelのAI Gatewayが、プロバイダーごとのカスタムタイムアウト設定（ベータ版）を導入し、応答が遅いプロバイダーからのフェイルオーバーを高速化する機能を提供した。
キーポイント
プロバイダー単位のタイムアウト設定
AI Gatewayが、推論プロバイダーごとに個別のタイムアウト時間をミリ秒単位で設定できる機能を追加した。設定した時間内に応答がない場合、リクエストを中止する。
高速フェイルオーバーの実現
タイムアウト発生時に、次の利用可能なプロバイダーへ自動的に切り替えることで、システム全体の応答性と信頼性を向上させる。
ベータ版の制限事項
現時点ではBYOK（Bring Your Own Key）認証情報を持つユーザーのみが利用可能で、一部プロバイダーではストリームキャンセルをサポートしておらず、タイムアウトしたリクエストに対しても課金される可能性がある。
高度なフェイルオーバー制御
複数プロバイダーを組み合わせ、順序（order）を指定することで、プロバイダー切り替えのシーケンスとフェイルオーバーの速度を細かく制御できる。
影響分析・編集コメントを表示
影響分析
この機能は、複数のAI推論サービスを利用するアプリケーションのレジリエンスとパフォーマンスを向上させる実用的な改善である。特に、プロバイダー間の応答時間のばらつきが大きい環境では、ユーザー体験とコスト管理の両面で価値がある。ただし、ベータ版の制限やプロバイダー依存の課金問題は、本格導入前に解決すべき課題として残る。
編集コメント
AIサービス統合の現場で長年課題だった「遅いプロバイダー待ち」問題への実用的なソリューション。ベータ制限はあるが、マルチクラウド/マルチプロバイダー戦略の実装を一段階前進させる機能と言える。
改善版翻訳文
AI Gatewayでは、高速フェイルオーバーのため、推論プロバイダーごとのタイムアウトを設定できるようになりました。設定したタイムアウト時間内にプロバイダーが応答を開始しない場合、AI Gatewayはそのリクエストを中止し、次に利用可能なプロバイダーへフェイルオーバーします。
プロバイダータイムアウト機能は、現在ベータ版として、BYOK (Bring Your Own Key) 認証情報でのみ利用可能です。なお、一部のプロバイダーはストリームキャンセルに対応していないため、プロバイダーによってはタイムアウトしたリクエストに対しても課金が発生する可能性がありますので、ご注意ください。
基本的な使い方
providerOptions.gateway内のproviderTimeoutsを使用して、プロバイダーごとのタイムアウトをミリ秒単位で設定します。
複数プロバイダーとフェイルオーバーを使用した高度な使い方
orderと併用することで、プロバイダーへの問い合わせ順序とフェイルオーバーの速度の両方を制御できます。
詳細については、カスタムプロバイダータイムアウトのドキュメントをご覧ください。
続きを読む
原文を表示
AI Gateway now supports per-inference provider timeouts for fast failover. If a provider doesn't start responding within your configured timeout, AI Gateway aborts the request and falls back to the next available provider.
Provider timeouts are available in beta for BYOK (Bring Your Own Key) credentials only. Note that some providers don't support stream cancellation, so you may still be charged for timed-out requests depending on the provider.
Basic usage
Set timeouts per provider in milliseconds using providerTimeouts in providerOptions.gateway.
Advanced usage with multiple providers and failover
Use with order to control both the provider sequence and failover speed.
For more information, read the custom provider timeouts documentation.
Read more
関連記事
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み