ページを読み込み中…
ページを読み込み中…
5件の記事
InfoQ は、従来の API ゲートウェイがアジェンティック AI に適合しないとし、ガードレールやモデルルーティングなどを集約する新たなアーキテクチャ層の必要性を提唱した。
Vercelが、複数のAIプロバイダーに分散する使用データを統合し、請求前に基本的な質問に答えられるようにするAIゲートウェイの統合レポート機能を発表した。
VercelがLiteLLMサーバーのデプロイを可能にし、開発者はOpenAI互換ゲートウェイを通じてVercel AI Gatewayを含む複数プロバイダーのLLMにアクセスできるようになった。
VercelがAI Gatewayで推論プロバイダーごとのタイムアウト設定をベータ提供し、設定時間内に応答がない場合に次のプロバイダーへ自動的に切り替えることで、フェイルオーバーを高速化する。
AI Gatewayが推論プロバイダーごとのタイムアウト設定を導入し、応答が遅い場合に次のプロバイダーへ自動的にフェイルオーバーする機能を提供した。現在はBYOK認証でのみベータ版として利用可能。