#レイテンシ最適化のAIニュース

2件の記事

Responses APIにおけるWebSockets活用によるエージェントワークフローの高速化

OpenAIはCodexエージェントループにおいてWebSocketsと接続スコープのキャッシュを活用し、APIオーバーヘッドを削減してモデル応答速度を向上させた。

AWSはAmazon BedrockでTTFT（初回トークン時間）と推定クォータ消費量のCloudWatchメトリクスを追加し、生成AIワークロードの推論パフォーマンスとリソース消費の可視性を向上させた。