トレーニングプランを使用して設定済みGPU容量でSageMaker AI推論エンドポイントをデプロイ

推論のために大規模言語モデル（LLM）を展開するには、特に重要な評価期間中や限定された期間の生産環境テスト、バーストワークロード時に信頼性の高い GPU 容量が必要です。容量制約は展開を遅らせ、アプリケーションのパフォーマンスに影響を与える可能性があります。顧客は [Amazon SageMaker AI](https://aws.amazon.com/sagemaker/ai/) のトレーニングプランを使用して、特定の期間に対してコンピューティング容量を予約できます。もともとトレーニングワークロード向けに設計されたトレーニングプランですが、現在は推論エンドポイントにも対応しており、時間制限のある推論ワークロードに対して予測可能な GPU 利用可能性を提供します。 一般的なシナリオを考えてみましょう：あるデータサイエンスチームが、生産環境で採用するモデルを選択する前に、2 週間にわたって複数のファインチューニングされた言語モデルを評価しなければならないとします。彼らは比較ベンチマークを実行するために [ml.p5.48xlarge](https://aws.amazon.com/ec2/instance-types/p4/) インスタンスへの中断のないアクセスを必要としていますが、ピーク時間帯には AWS リージョン内のオンデマンド容量は予測不可能です。トレーニングプランを通じて容量を予約することで、制御されたコストと予測可能な可用性を保ちながら、評価を中断なく実行できます。 [Amazon SageMaker AI](https://aws.amazon.com/sagemaker/ai/) のトレーニングプランは、利用可能なオファリングを検索し、ニーズに一致するインスタンスタイプ、数量、期間を選択するための柔軟な方法を提供します。顧客は、将来の固定された日数または月数を指定するか、連続した特定の日の数を指定して予約を作成できます。作成後、このトレーニングプランはセット容量を提供し、SageMaker AI 推論エンドポイントをデプロイする際にこれを参照することができます。 本記事では、利用可能な p ファミリー GPU 容量の検索方法、推論用のトレーニングプラン予約の作成方法、およびその予約された容量上で SageMaker AI 推論エンドポイントをデプロイする方法を順を追って説明します。ここでは、モデル評価のために容量を予約し、予約ライフサイクルを通じてエンドポイントの管理を行うデータサイエンティストの旅を追跡します。 ## ソリューション概要 [SageMaker AI トレーニングプラン](https://aws.amazon.com/sagemaker/ai/train/) は、特定の時間ウィンドウに対してコンピューティング容量を予約するためのメカニズムを提供します。トレーニングプランを作成する際、顧客は対象のリソースタイプを指定します。対象リソースの値を「エンドポイント」に設定することで、推論ワークロード専用の p ファミリー GPU インスタンスを確保できます。予約された容量は、エンドポイント構成内の Amazon Resource Name (ARN) を介して参照され、これによりエンドポイントは予約済みインスタンスでデプロイされます。 トレーニングプランの作成と利用のワークフローは、以下の 4 つの主要フェーズから構成されています： - インフラ要件を特定する – 推論ワークロードに必要なインスタンスタイプ、インスタンス数、および期間を決定します。 - 利用可能なトレーニングプランの提供を確認する – 要件と希望する時間枠に一致する利用可能な容量を検索します。 - トレーニングプランのリザーブを作成する – 適切な提供内容を選択しリザーブを作成すると、ARN が生成されます。 - エンドポイントのデプロイと管理 – リザーブされた容量を使用するように SageMaker AI エンドポイントを構成し、リザーブ期間中のライフサイクルを管理します。 各フェーズの詳細な例とともに順を追って説明していきます。 ## 前提条件 開始前に、以下の準備が整っていることを確認してください: - SageMaker AI アクセス権限を持つ IAM 実行ロール - Amazon Simple Storage Service (Amazon S3) にアップロードされた学習済みモデル - AWS Command Line Interface (AWS CLI) のインストールと設定完了、または SageMaker AI コンソールへのアクセス権限 - SageMaker AI 用のトレーニングプランの作成 ## ステップ 1: 利用可能な容量オファリングを検索し、予約プランを作成する データサイエンティストはまず、評価要件に一致する p ファミリーの GPU 容量の利用可能状況を確認します。彼らは、1 月下旬から始まる 1 週間の評価用に、ml.p5.48xlarge インスタンスを 1 台必要としています。search-training-plan-offerings API を使用して、インスタンスタイプ、インスタンス数、期間、および時間ウィンドウを指定します。ターゲットリソースを「endpoint」に設定することで、容量がトレーニングジョブではなく推論用に特別にプロビジョニングされるように構成されます。 # インスタンスタイプ、インスタンス数、時間単位の期間、開始時刻以降、終了時刻以前を含むトレーニングプランオファリングの一覧表示 aws sagemaker search-training-plan-offerings \ --target-resources "endpoint" \ --instance-type "ml.p5.48xlarge" \ --instance-count 1 \ --duration-hours 168 \ --start-time-after "2025-01-27T15:48:14-04:00" \ --end-time-before "2025-01-31T14:48:14-05:00" **例出力** { "TrainingPlanOfferings": [ { "TrainingPlanOfferingId": "tpo-SHA-256-hash-value", "TargetResources": ["endpoint"], "RequestedStartTimeAfter": "2025-01-21T12:48:14.704000-08:00", "DurationHours": 168, "DurationMinutes": 10080, "UpfrontFee": "xxxx.xx", "CurrencyCode": "USD", "ReservedCapacityOfferings": [ { "InstanceType": "ml.p5.48xlarge", "InstanceCount": 1, "AvailabilityZone": "us-west-2a", "DurationHours": 168, "DurationMinutes": 10080, "StartTime": "2025-01-27T15:48:14-04:00", "EndTime": "2025-01-31T14:48:14-05:00" } ] } ] } レスポンスには、利用可能な各容量ブロックに関する詳細情報が含まれており、インスタンスタイプ、数量、期間、アベイラビリティゾーン、および価格が含まれます。各オファリングには特定の開始時刻と終了時刻が設定されているため、デプロイスケジュールに一致する予約を選択できます。このケースでは、チームは us-west-2a において、彼らのタイムラインに適合する 168 時間（7 日間）の予約を見つけました。 適切なオファリングを特定した後、チームは容量を確保するためにトレーニングプラン予約を作成します: aws sagemaker create-training-plan \ --training-plan-offering-id "tpo-SHA-256-hash-value" \ --training-plan-name "p4-for-inference-endpoint" **出力例:** { "TrainingPlanArn": "arn:aws:sagemaker:us-east-1:123456789123:training-plan/p4-for-inference-endpoint" } トレーニングプラン ARN は、予約された容量を一意に識別します。この ARN を保存してください。これがエンドポイントとセットされた p ファミリー GPU 容量（GPU capacity）をリンクする鍵となります。予約が確認され支払いが完了したことで、彼らは推論エンドポイントの構成準備が整いました。 ## SageMaker AI コンソールの利用 SageMaker AI コンソールを通じてトレーニングプランを作成することもできます。これにより、容量の検索と予約完了のための視覚的なインターフェースが提供されます。コンソールのワークフローは 3 つのステップに従います：オファリングの検索、プラン詳細の追加、および確認と購入です。 **トレーニングプランへのナビゲーション:** - SageMaker AI コンソールで、左側のナビゲーションペインにある「モデルのトレーニングとカスタマイズ」に移動します。 - 「トレーニングプラン」を選択します。 - 右上隅のオレンジ色のボタンである「トレーニングプランの作成」を選択します。 次のスクリーンショットは、作成ワークフローを開始する「トレーニングプラン」ランディングページを示しています。 *図 1: 作成トレーニングプランボタン付きのトレーニングプランランディングページ* **ステップ A – トレーニングプランオファリングの検索:** - 「ターゲット」の下で、「推論エンドポイント」を選択します。 - 「コンピューティングタイプ」の下で「インスタンス」を選択します。 - インスタンスタイプ（例：ml.p5.48xlarge）とインスタンス数を選択します。 - 「日付と期間」の下で、開始日と期間を指定します。 - 「トレーニングプランの検索」を選択します。 次のスクリーンショットは、「推論エンドポイント」が選択され、条件が入力された検索インターフェースを示しています: *図 2: ステップ A – 推論エンドポイントをターゲットとしたトレーニングプランオファリングの検索* **「トレーニングプランの検索」**を選択した後、**「利用可能なプラン」**セクションに一致するオファリングが表示されます: *図 3: 価格と可用性の詳細を含む利用可能なトレーニングプランオファリング* **予約を完了する:** - お好みのオファリングの隣にあるラジオボタンを選択してプランを選びます。 - 「次へ」を選択して、ステップ B：プランの詳細入力に進みます。 - 詳細を確認し、「次へ」を選択してステップ 3：確認と購入に進みます。 - 最終サマリーを確認し、利用規約に同意した上で「購入」を選択して予約を完了します。 予約が作成されると、トレーニングプランの ARN が発行されます。予約が確定し支払いも完了したため、この ARN を使用して推論エンドポイントを構成する準備が整いました。エンドポイントは、トレーニングプランで指定された予約期間中のみ機能します。 ## ステップ 2: トレーニングプラン予約を使用したエンドポイント構成の作成 予約を確保した後、チームは推論エンドポイントを予約済み容量にバインドするエンドポイント構成を作成します。ここで重要なステップは、ProductionVariants セクションに CapacityReservationConfig オブジェクトを含め、MlReservationArn に先ほど受け取ったトレーニングプランの ARN を設定することです: --endpoint-config-name "ftp-ep-config" \ --production-variants '[{ "VariantName": "AllTraffic", "ModelName": "my-model", "InitialInstanceCount": 1, "InstanceType": "ml.p5.48xlarge", "InitialVariantWeight": 1.0, "CapacityReservationConfig": { "CapacityReservationPreference": "capacity-reservations-only", "MlReservationArn": "arn:aws:sagemaker:us-east-1:123456789123:training-plan/p4-for-inference-endpoint" } }]' SageMaker AI がこのリクエストを受け取ると、ARN が「endpoint」をターゲットリソースタイプとするアクティブなトレーニングプラン予約を指しているか検証します。検証が成功すると、エンドポイント構成が作成され、デプロイ対象として有効になります。CapacityReservationPreference 設定は特に重要です。これを capacity-reservations-only に設定することで、チームはエンドポイントを予約済み容量に制限し、予約期間終了時にトラフィックの提供を停止させるため、予期せぬ課金を防止できます。 ## ステップ 3: 予約済み容量上でエンドポイントをデプロイする エンドポイント構成が準備できたら、チームは評価用エンドポイントをデプロイします: aws sagemaker create-endpoint \ --endpoint-name "my-endpoint" \ --endpoint-config-name "ftp-ep-config" このエンドポイントは、予約済みトレーニングプランの容量内で完全に稼働します。SageMaker AI は us-west-2a リージョンで ml.p5.48xlarge インスタンスをプロビジョニングし、モデルを読み込みます。このプロセスには数分かかる場合があります。エンドポイントが InService ステータスに達したら、チームは評価ワークロードの実行を開始できます。 ## ステップ 4: トレーニングプランがアクティブな状態でエンドポイントを呼び出す エンドポイントが稼働中になったら、評価ワークロードの実行を開始できます。リアルタイム推論のためにエンドポイントを呼び出し、テストプロンプトを送信して、応答の品質、レイテンシ、スループットを測定します: aws sagemaker-runtime invoke-endpoint \ --endpoint-name "my-endpoint" \ --body fileb://input.json \ --content-type "application/json" Output.json アクティブな予約期間中、エンドポイントは設定された容量で通常通り動作します。すべての呼び出しは予約されたリソースを使用して処理されるため、予測可能なパフォーマンスと可用性の確保に役立ちます。チームは、共有インフラからの容量制約やパフォーマンスの変動を気にすることなくベンチマークを実行できます。 ## ステップ 5: トレーニングプランの有効期限切れ時にエンドポイントを呼び出す エンドポイントがまだデプロイされた状態でトレーニングプランの予約有効期限が切れた場合に何が起こるかを理解しておく価値があります。 予約有効期限が切れると、エンドポイントの動作は CapacityReservationPreference の設定に依存します。チームはこの値を capacity-reservations-only に設定していたため、エンドポイントはトラフィックの提供を停止し、呼び出しは容量エラーで失敗します: aws sagemaker-runtime invoke-endpoint \ --endpoint-name "my-endpoint" \ --body fileb://input.json \ --content-type "application/json" \ output.json **想定されるエラー応答:** { "Error": { "Code": "ModelError", "Message": "Endpoint capacity reservation has expired. Please update endpoint configuration." } } サービス再開には、新しいトレーニングプランの予約を作成してエンドポイント構成を更新するか、エンドポイントをオンデマンドまたは ODCR (On-Demand Capacity Reservation) 容量を使用するように更新する必要があります。チームの場合は評価が完了したため、予約を延長するのではなくエンドポイントを削除しました。 ## ステップ 6：エンドポイントの更新 評価期間中、さまざまな理由によりエンドポイントを更新する必要がある場合があります。SageMaker AI は、予約済み容量への接続を維持しながら、いくつかの更新シナリオをサポートしています。 ## 新しいモデルバージョンへの更新 評価の途中、チームは追加のファインチューニングを組み込んだ新しいモデルバージョンをテストしたいと考えています。同じ予約済み容量を保持したまま、新しいモデルバージョンに更新することができます： # まず、更新されたモデルを含む新しいエンドポイント構成を作成します aws sagemaker create-endpoint-config \ --endpoint-config-name "ftp-ep-config-v2" \ --production-variants '[{ "VariantName": "AllTraffic", "ModelName": "my-model-v2", "InitialInstanceCount": 1, "InstanceType": "ml.p5.48xlarge", "InitialVariantWeight": 1.0, "CapacityReservationConfig": { "CapacityReservationPreference": "capacity-reservations-only", "MlReservationArn": "arn:aws:sagemaker:us-east-1:123456789123:training-plan/p4-for-inference-endpoint" } }]' # 次に、エンドポイントを更新します aws sagemaker update-endpoint \ --endpoint-name "my-endpoint" \ --endpoint-config-name "ftp-ep-config-v2" ## 予約済み容量からオンデマンド容量への移行 チームの評価が予想より長引いた場合や、予約期間を超えてエンドポイントを本番環境で使用したい場合は、オンデマンド容量へ移行することができます： # トレーニングプランによる予約なしのエンドポイント設定の作成 aws sagemaker create-endpoint-config \ --endpoint-config-name "ondemand-ep-config" \ --production-variants '[{ "VariantName": "AllTraffic", "ModelName": "my-model", "InitialInstanceCount": 1, "InstanceType": "ml.p5.48xlarge", "InitialVariantWeight": 1.0 }]' # エンドポイントを更新してオンデマンド容量を使用させる aws sagemaker update-endpoint \ --endpoint-name "my-endpoint" \ --endpoint-config-name "ondemand-ep-config" ## ステップ 7: エンドポイントのスケーリング いくつかのシナリオでは、チームは当初デプロイした容量よりも多くの容量を予約し、必要に応じてスケールアップする柔軟性を確保できます。例えば、チームが 2 つのインスタンスを予約したが、当初は 1 つのみをデプロイした場合、評価期間中にスケーリングアップして、より高いスループットをテストすることが可能です。 ## 予約制限内でのスケーリング チームが当初 2 つの ml.p5.48xlarge インスタンスを予約したが、エンドポイントは 1 つのインスタンスのみでデプロイしたと仮定します。その後、より高い同時負荷下でのモデルのパフォーマンスをテストしたい場合: # リザーブ内でのインスタンス数を増やした新しい構成を作成する aws sagemaker create-endpoint-config \ --endpoint-config-name "ftp-ep-config-scaled" \ --production-variants '[{ "VariantName": "AllTraffic", "ModelName": "my-model", "InitialInstanceCount": 2, "InstanceType": "ml.p5.48xlarge", "InitialVariantWeight": 1.0, "CapacityReservationConfig": { "CapacityReservationPreference": "capacity-reservations-only", "MlReservationArn": "arn:aws:sagemaker:us-east-1:123456789123:training-plan/p4-for-inference-endpoint" } }]' aws sagemaker update-endpoint \ --endpoint-name "my-endpoint" \ --endpoint-config-name "ftp-ep-config-scaled" ## リザーブを超えてスケールしようとする 顧客がリザーブ容量を超えてスケールしようとすると、更新は失敗します: # このコマンドは、リザーブにインスタンスが 2 つしかない場合に失敗します aws sagemaker create-endpoint-config \ --endpoint-config-name "ftp-ep-config-over-limit" \ --production-variants '[{ "VariantName": "AllTraffic", "ModelName": "my-model", "InitialInstanceCount": 3, "InstanceType": "ml.p5.48xlarge", "InitialVariantWeight": 1.0, "CapacityReservationConfig": { "CapacityReservationPreference": "capacity-reservations-only", "MlReservationArn": "arn:aws:sagemaker:us-east-1:123456789123:training-plan/p4-for-inference-endpoint" } }]' 予想されるエラー: { "Error": { "Code": "ValidationException", "Message": "Requested instance count (3) e

トレーニングプランを使用して設定済みGPU容量でSageMaker AI推論エンドポイントをデプロイ

背景や根拠まで確認しますか？

調べる

選ぶ

サイト