Amazon SageMaker AI にコンテナキャッシュ機能を導入し、モデルのスケーリングを高速化

本日、Amazon SageMaker AI の推論におけるコンテナイメージキャッシングを発表できることを嬉しく思います。これは、より高速なスケーリング最適化への旅路における次の主要な進展です。これにより、スケールアウトイベント発生時に生成 AI モデルのエンドツーエンドレイテンシを最大 2 倍に短縮します。 過去数年間、Amazon SageMaker AI はこれらのスケーリング段階全体でレイテンシ削減を続けてきました。具体的には、スケールアウトの必要性を検知し、インスタンスのプロビジョニングを行い、コンテナイメージをダウンロードし、モデルウェイトを取得し、コンテナを開始するプロセスです。Amazon SageMaker AI は以前、従来のメカニズムよりも最大 6 倍高速にスケールアウトの必要性を検出できるよう支援する [1 分未満の Amazon CloudWatch メトリクス](https://aws.amazon.com/blogs/machine-learning/amazon-sagemaker-inference-launches-faster-auto-scaling-for-generative-ai-models/) を導入し、コンテナイメージとモデルアーティファクトを実行中のインスタンスに保存する [推論コンポーネントデータキャッシングソリューション](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_InferenceComponentDataCacheConfig.html) も発表しました。このアプローチにより、既存のインスタンスを再利用してスケーリングする推論コンポーネント操作のコールドスタートレイテンシが削減されました。これらの機能はすべて、推論コンポーネントがすでにプロビジョニングされたインスタンスに配置され、既存のキャッシュを利用できるシナリオにおける自動スケーリングの応答性を向上させました。 コンテナキャッシングにより、Amazon SageMaker AI は、新しいインスタンスを起動しなければならないシナリオにもこれらのスケーリング改善を拡張します。コンテナキャッシングは、以前のインスタンストレージベースのキャッシングでは対応できなかった、新しいインスタンスを起動しなければならない場合でも、コンテナイメージのダウンロード遅延を除去します。本記事では、コンテナキャッシングがどのようにコンテナイメージのダウンロードボトルネックに対処するかを示し、期待できるパフォーマンス改善を実証します。 ## 新しいインスタンスの起動が必要なスケーリングの課題 以下の図は、新しいインスタンスが起動される際のインスタンススケーリング中の手順を示しています。 - インスタンスのプロビジョニング: 新しい Amazon Elastic Compute Cloud (Amazon EC2) インスタンスが起動されます。 - コンテナイメージのプル: コンテナイメージが Amazon Elastic Container Registry (Amazon ECR) から取得されます。 - モデルアーティファクトのダウンロード: モデルの重み付けデータが Amazon Simple Storage Service (Amazon S3) からフェッチされます。 - コンテナの起動とヘルスチェック: 推論サーバーが初期化され、モデルをメモリに読み込み、準備完了チェックに合格します。 ![image](https://d2908q01vomqb2.cloudfront.net/f1f836cb4ea6efb2a0b1b99f41ad8b103eff4b59/2026/06/16/ML-21172-1.png) **注**: コンテナイメージのダウンロードとモデルアーティファクトのダウンロードは並行して実行されます。 コンテナイメージのダウンロードは、特に生成 AI ワークロードにおいてエンドポイントのスケーリング遅延の主要な要因となることが多いです。これらのワークロードでは、SageMaker Large Model Inference (LMI, vLLM によって駆動)、vLLM、NVIDIA Triton などの大規模コンテナが使用されます。コンテナキャッシングを適用することで、一般的なエンドポイントパターンにおける新しいインスタンスのスケーリングイベント時に、コンテナイメージのプルステップを省略できます。 - シングルモデルエンドポイント – スケーリングは、各インスタンスが独自のモデルコピーをホストするように追加インスタンスを開始することによって達成されます。 - インフェレンスコンポーネントベースのエンドポイント – スケーリングでは、既存のインスタンスに追加のインフェレンスコンポーネントをホストする十分な容量がない場合にのみ、新しいインスタンスが追加されます。 ## コンテナキャッシングによるイメージプルボトルネックの解消 以下の図は、LMI コンテナ (圧縮サイズ 17.7 GB) を使用して ml.g6.2xlarge インスタンス上で Qwen3-8B (16 GB) モデルのスケーリングタイムラインがどのように変化するかを示しています。 ![image](https://d2908q01vomqb2.cloudfront.net/f1f836cb4ea6efb2a0b1b99f41ad8b103eff4b59/2026/06/16/ML-21172-2.png) **コンテナキャッシング適用前:** - Amazon ECR からのコンテナイメージプル: 333 秒 - Amazon S3 からのモデルアーティファクトダウンロード: 168 秒 イメージプルとモデルのダウンロードは並列で実行されたため、エンドツーエンドの起動遅延は 525 秒となりました。 **コンテナキャッシング適用後:** - コンテナイメージはすでにローカルにキャッシュされている：0 秒 - モデルアーティファクトのダウンロード：77 秒。コンテナイメージが事前にキャッシュされているため、モデルのダウンロードがイメージのプルとネットワーク帯域幅を競合しなくなり、レイテンシが 168 秒から 77 秒に短縮されました。 エンドツーエンドの起動レイテンシは 258 秒に低下します。 **結果：** コンテナキャッシングにより、スケールアウトパスからイメージプルが除外され、ネットワーク帯域幅の競合が解消されることで、エンドツーエンドの起動レイテンシが 525 秒から 258 秒に短縮されました。これは約 51 パーセントの改善です。キャッシュされたイメージが利用できない場合、SageMaker AI は自動的に Amazon ECR からのプルにフォールバックするため、スケーリングがブロックされることはありません。 ## インフェレンスコンポーネントとのコンテナキャッシングの動作 コンテナキャッシングはインフェレンスコンポーネント（inference components）と連携して動作します。複数のインフェレンスコンポーネントを展開する場合、キャッシュには各インフェレンスコンポーネントが参照する固有のコンテナイメージがそれぞれ保存されます。 ## セキュリティとテナント分離 コンテナイメージキャッシングは、SageMaker AI が現在提供している厳格なテナント分離の保証を維持します。各キャッシュは単一の顧客エンドポイントに専有され、AWS アカウント間やエンドポイント間で共有されることはありません。顧客が SageMaker AI エンドポイントを削除すると、関連するイメージキャッシュも自動的に削除されます。 ## パフォーマンス結果 以下の表には、コンテナキャッシングをテストした早期アクセス顧客から観測された結果を示します： **顧客** **インスタンスタイプ** **イメージサイズ** **モデルサイズ** **スケーリング前 P50（秒）** **スケーリング後 P50（秒）** **P50 の改善率** 1 顧客 1 ml.g4dn.xlarge 15.7 GB 0 GB 381 134 -65% 2 顧客 2 ml.g5.2xlarge 17.5 GB 5.8 GB 346 164 -52% 3 顧客 3 ml.g5.xlarge 10.6 GB 6.5 GB 346 216 -38% 改善の規模は、エンドポイントのインスタンスタイプ、コンテナイメージサイズ、およびモデルサイズによって異なります。 ## すべての 3 つのスケーリング最適化を組み合わせる 最速のスケーリング応答を実現するには、自動スケーリング最適化シリーズで導入したすべての 3 つの機能を組み合わせることができます。それぞれが、スケールアウトパスにおける異なる遅延の原因を取り除きます。 **最適化** **改善内容** **有効化方法** 1 **1 分未満のメトリクス改善** スケールアップの必要性を 6 倍速く検知 ConcurrentRequestsPerModel または ConcurrentRequestsPerCopy のターゲット追跡ポリシーを設定 2 **推論コンポーネントベースのエンドポイント用のデータキャッシュ** 既存のインスタンスにモデルのコピーを追加する際のイメージプル時間を短縮 オプトイン不要：サポート対象のアクセラレータインスタンスタイプ上の推論コンポーネントベースのエンドポイントでは、コンテナキャッシングが自動的に有効化されます。 3 **コンテナイメージキャッシュ** 新しいインスタンスの起動時にイメージプル時間を削減します。 オプトインは不要です：サポート対象のアクセラレータインスタンスタイプを使用するエンドポイントでは、コンテナキャッシングが自動的に有効化されます。 これら2つの最適化を組み合わせることで、スケールアウト時の遅延の主要な原因が排除されます。サブ1分間のメトリクスにより需要検出が6倍高速化され、スケーリング判断が数分ではなく数秒で実行されます。この2つのキャッシュ層は、異なるスケーリング軸において互いに補完し合います。新しい推論コンポーネントのコピーが既存のインスタンスに配置される場合、データキャッシングによりイメージおよびモデルのダウンロード遅延が除去されます。一方、スケールアウトのために新しいインスタンスの起動が必要な場合は、コンテナイメージキャッシングにより起動時のイメージプル時間をゼロにします。 ## サポート対象構成 コンテナキャッシングは、SageMaker 推論エンドポイントにおけるアクセラレータインスタンスタイプでサポートされています。Amazon ECR にホストされた任意のコンテナイメージ（カスタムイメージを含む）と連携して動作しますが、コンテナ自体への修正は不要です。 コンテナキャッシングは、SageMaker AI 推論がサポートされているすべての商用 AWS リージョンで利用可能です。最新のサポート対象インスタンスタイプおよびリージョン一覧については、[Amazon SageMaker AI ドキュメント](https://docs.aws.amazon.com/general/latest/gr/sagemaker.html)をご参照ください。 ## 結論 新しいコンテナキャッシングにより、Amazon SageMaker AI は生成 AI 推論向けに特別に設計された一連の自動スケーリング最適化機能を提供します。 - サブ分のメトリクスにより、自動スケーリングは標準の 1 分間隔の CloudWatch メトリクスと比較して最大 6 倍高速に負荷変化を検出できます。 - 既存インスタンス上での高速なスケーリング：インスタンストレージコンテナキャッシュにより、実行中のインスタンスを再利用する際のイメージプルおよびモデルダウンロードの遅延が除去されます。 - 新しいインスタンス上での高速なスケーリング（今回のリリース）：コンテナキャッシュにより、新しいインスタンス起動時のイメージプルが不要となり、エンドツーエンドのスケーリング遅延を最大 50% 削減します。 これらの機能により、SageMaker AI のスケーリング体験は、数分かかるコールドスタートの遅延から、迅速で予測可能なレスポンスへと変化します。これにより、生成 AI アプリケーションはトラフィックの急増にも自信を持って対応でき、エンドユーザーに対して低遅延と高い可用性を維持できます。 開始するには、サポートされているアクセラレータインスタンスタイプ上の SageMaker AI 推論エンドポイントに生成 AI ワークロードを展開してください。コンテナキャッシュは自動的に有効化されます。サポート対象のインスタンスタイプおよびリージョンの詳細については、[Amazon SageMaker AI ドキュメント](https://docs.aws.amazon.com/general/latest/gr/sagemaker.html)をご覧ください。また、[AWS Management Console](https://console.aws.amazon.com/sagemaker/) を利用してエンドポイントの作成または更新を試すこともできます。 今後の展望として、スケーリング遅延をさらに削減するための投資を継続していきます。続報をお楽しみに。 ## 著者について ![image](https://d2908q01vomqb2.cloudfront.net/f1f836cb4ea6efb2a0b1b99f41ad8b103eff4b59/2026/06/16/ML-21172-3.png) ## Mona Mona [Mona](https://www.linkedin.com/in/mona-mona/) は現在、Amazon でシニア AI/ML スペシャリスト ソリューションアーキテクトとして勤務しています。以前は Google でリード生成 AI スペシャリストを務めていました。彼女は「Natural Language Processing with AWS AI Services: Derive strategic insights from unstructured data with Amazon Textract and Amazon Comprehend」と「Google Cloud Certified Professional Machine Learning Study Guide」の 2 冊の著者であり、AI/ML およびクラウド技術に関するブログを 19 本執筆しています。また、権威ある AAAI（Association for the Advancement of Artificial Intelligence）カンファレンスで最優秀研究論文賞を受賞した CORD19 ニューラル検索に関する共同研究論文の共著者でもあります。Mona は [LinkedIn](https://www.linkedin.com/in/mona-mona/) でつながることができます。 ![image](https://d2908q01vomqb2.cloudfront.net/f1f836cb4ea6efb2a0b1b99f41ad8b103eff4b59/2026/06/16/ML-21172-4.png) ## Kunal Shah Kunal は Amazon Web Services のシニアソフトウェア開発エンジニアです。彼の情熱は推論のための機械学習（ML）モデルのデプロイにあり、現実世界に影響を与える AI 搭載ツールの開発に貢献し、学び続けるという強い欲求によって駆り立てられています。専門的な活動以外では、歴史映画を見ること、旅行、そして冒険スポーツを楽しむことを好んでいます。 ![image](https://d2908q01vomqb2.cloudfront.net/f1f836cb4ea6efb2a0b1b99f41ad8b103eff4b59/2026/06/16/ML-21172-5.png) ## Alwin (Qiyun) Zhao Alwin (Qiyun) Zhao は、Amazon SageMaker Inference チームのソフトウェア開発マネージャーです。同チームでは、顧客が ML（機械学習）および GenAI（生成 AI）ワークロードを大規模かつ信頼性高くデプロイできるよう、管理された推論インフラストラクチャの開発を行っています。彼はシステムレベルのパフォーマンス最適化、アクセラレータ容量管理、モデルデプロイのガードレール、セキュリティコンプライアンスにわたるエンジニアリング活動を統括し、顧客が推論ワークロードの高い可用性を達成できるよう支援しています。 ![image](https://d2908q01vomqb2.cloudfront.net/f1f836cb4ea6efb2a0b1b99f41ad8b103eff4b59/2026/06/16/ML-21172-6.png) ## Dmitry Soldatkin [Dmitry](https://www.linkedin.com/in/dmitry-soldatkin/) は、AWS の SageMaker Inference における専門ソリューションアーキテクチャのグローバルリーダーです。彼は企業全体にわたって顧客が GenAI および AI/ML ソリューションを設計・構築・最適化できるよう支援する取り組みを主導しています。彼の活動範囲は多岐にわたり、特に生成 AI（Generative AI）、ディープラーニング、大規模な ML の展開に重点を置いています。金融サービス、保険、通信業界など、様々な産業の企業とパートナーシップを築いてきました。Dmitry とは [LinkedIn](https://www.linkedin.com/in/dmitry-soldatkin) でつながることができます。

Amazon SageMaker AI にコンテナキャッシュ機能を導入し、モデルのスケーリングを高速化

背景や根拠まで確認しますか？

調べる

選ぶ

サイト