#autoscaling のAIニュース

容量対応型推論：SageMaker AI エンドポイントの自動インスタンスフォールバック

AWS は、生成 AI ワークロードの拡大に伴う GPU リソース不足によるエンドポイント障害を防ぐため、Amazon SageMaker AI 上で需要に応じた自動的なインスタンス切り替え機能を導入した。これにより、リソースが枯渇してもサービス継続を可能にする。