#cloudwatch のAIニュース

5件の記事

CloudWatch の SageMaker メトリクスとインサイトダッシュボードを用いた生成 AI 推論の監視・デバッグ

AWS は、大規模な生成 AI 推論エンドポイントの P99 レイテンシ急上昇などのトラブルを GPU メモリ圧力や KV キャッシュ飽和などから特定できるよう、CloudWatch に SageMaker の詳細メトリクスとインサイトダッシュボードを追加した。

AWS は Amazon Bedrock の新機能を公開し、10 万社以上の組織が利用する生成 AI サービスにおいて、モデルの使用量制限のリクエスト手続きや運用上の問題のトリアージを自動化した。

AWS は、10 万社以上の組織で利用されている Amazon Bedrock を活用し、生産環境で動作するアプリケーションやエージェントを構築するための大規模な自律型 AI オペレーションの構築手法を発表した。

AWS は、大規模な AI プラットフォーム利用者の行動や満足度、機能ごとのエンゲージメントを可視化するため、複数の AWS サービスに散在するデータを統合・分析できる中央集権型の観測可能性ソリューションの構築方法を公開した。

Amazonが2025年にSageMaker AIを改善し、生成AIワークロードのトレーニング、チューニング、ホスティングを支援する機能を強化した。