Amazon SageMaker AI に生成 AI 推論推奨の UI を公開

生成 AI モデルを実環境にデプロイするには、適切なインスタンスタイプ、設定付きのサービングコンテナ、そして最適化戦略の組み合わせを見つける必要があります。このプロセスには通常、長時間を要する最適化と手動ベンチマークの反復サイクルが伴います。

2026 年 4 月、Amazon SageMaker AI は「推論推奨機能」を発表しました。これにより、顧客は API を通じてデータ駆動型の生産準備完了済み設定をプログラムで取得できるようになりました。この機能を使えば、一般的なワークロードではサイクルを数分に、カスタムワークロードでも数時間に短縮できます。

本稿では、低コード・ノーコード（LCNC）環境である Amazon SageMaker AI Studio における「最適化された生成 AI 推論推奨」の UI を紹介します。API はすでに推奨事項へのプログラムアクセスを提供していますが、これはユーザーがどのパラメータを設定すべきか、生ベンチマークの結果をどう解釈するかを知っていることを前提としています。一方、UI はその前提を取り除きます。事前設定されたユースケースプロファイルに沿ったガイダンス、結果の視覚的な比較、ワンクリックでのデプロイが可能になるため、インフラストラクチャに関する深い専門知識を持たないチームでも、自ら検証済みの構成を取得できます。

今回のリリースにより、最適化ジョブの設定やプリセットのユースケースプロファイルからの選択が可能になりました。パフォーマンス結果を比較し、推奨される設定を生産環境のエンドポイントへデプロイすることもできます。これらはすべて、コードを一行も記述することなく実現可能です。高度なユーザー向けには、より細かな設定のために API を引き続き利用できます。

機械学習（ML）エンジニアは次のデプロイを検証でき、技術リーダーはコストとパフォーマンスのトレードオフを評価できます。どちらの場合でも、Studio の新機能により、モデル選択から本番環境対応の設定に至るまでのプロセスが大幅に短縮されます。

新 Studio エクスペリエンスの概要

Amazon SageMaker AI Studio では、Jobs から Inference optimization を通じて、生成 AI 推論推奨機能の UI が利用可能になりました。ワークロード設定、最適化、モデル選択、デプロイまでをガイドするエンドツーエンドのワークフローを提供します。

プリセットユースケースプロファイル

ワークフローは、まず負荷構成の定義から始まります。トークンの分布や並行処理数を手動で指定する代わりに、一般的なトラフィックパターンを捉えた「プリセットユースケースプロファイル」を選択できます。

「Interact（対話）」プロファイルは、短い入力と中程度の出力を持つチャットスタイルのワークロードをモデル化しています。「Generate（生成）」は、長い出力を伴うコンテンツ生成向けにチューニングされており、「Summarize（要約）」は文書要約特有の高い入力対出力比に最適化されています。

これらのプロファイルがあなたのワークロードに合致しない場合は、「Custom（カスタム）」プロファイルを使用できます。ここでは独自のデータセットを読み込み、並行処理数やトークン長、評価データを自分で設定可能です。選択したプロファイルがベンチマークパラメータを決定するため、ユーザーはそれらの値について直接考慮する必要はありません。

最適化目標

ユースケースプロファイルに加えて、SageMaker AI に優先順位をつけるための「最適化目標」を選択します。

• Minimize latency（レイテンシ最小化）: 可能な限り応答時間を短縮するようチューニングされます。ユーザーがトークン生成を待機するインタラクティブなアプリケーションに適しています。
• Maximize throughput（スループット最大化）: 1 秒あたりに処理できるトークン数を最大化します。バッチ処理や大量の負荷がかかるワークロードに最適です。
• Minimize cost（コスト最小化）: 想定されるトラフィックに対して最も費用対効果の高い構成を見つけます。

選択した目標は、SageMaker AI が適用する技術手法と、生成された推奨事項をランク付けする方法の両方を決定します。

サポートされているモデルソース

次に、推論最適化の対象となるモデルを選択します。本 UI は、モデルが現在どこに存在していても対応可能です。

基盤モデル（FM）は、事前学習済みモデルを多数用意した Amazon SageMaker JumpStart カタログから取得できます。あるいは、Amazon Simple Storage Service (Amazon S3) に保存されたご自身のモデルアーティファクトを指定したり、Model Registry に登録済みのパッケージを再利用したり、過去にデプロイまたはトレーニングしたジョブから既存の SageMaker モデルを選択することもできます。

コンソールでの推奨設定取得手順

以下のセクションでは、ジョブ作成から最適な構成のデプロイに至るまでの一連の流れを実演します。各ステップは前のステップを前提としているため、初めて読む際は順番に追っていただくことをお勧めします。その後は、必要なステップのみを直接参照して進めることができます。

事前準備

本ガイドを進めるには、以下の条件を満たしている必要があります。

• Amazon SageMaker AI Studio のドメインを持つ AWS アカウント
• Amazon SageMaker AI 推論最適化の操作を行うための AWS Identity and Access Management (IAM) 権限
• Amazon S3 に保存されたモデルアーティファクトへのアクセス権限を持つ IAM 実行ロール

料金について: 推奨設定の生成には追加費用はかかりません。ただし、ベンチマーク期間中に最適化ジョブを実行したりエンドポイントをプロビジョニングしたりする場合は、標準的なコンピューティングコストが発生します。

ステップ 1：最適化ジョブの作成

Studio の左側ナビゲーションペインからJobsを選択し、続いてInference optimizationをクリックします。その後、Create（またはOptimize inference）ボタンを押してジョブを作成しましょう。

ジョブが作成されたら、次は SageMaker AI に対して「何を最適化したいか」を指定するステップです。

ステップ 2：戦略の設定

ビジネスユースケースごとに要件は異なります。レイテンシ（応答時間）に厳しい制約があるケースもあれば、コスト削減を最優先するケースもあります。

ユースケースに応じて、以下のプロファイルから一つ選択してください。Interact（対話）、Generate（生成）、Summarize（要約）、またはCustom（カスタム）。さらに、最適化目標としてMinimize cost（コスト最小化）、Minimize latency（レイテンシ最小化）、あるいはMaximize throughput（スループット最大化）のいずれかを選定します。

Customを選択すると、追加の入力項目が表示されます。ここでは、評価用データセットの S3 URI を JSONL 形式で貼り付けたり、並行処理をシミュレートするための同時リクエスト数を指定したり、最大出力トークン長を設定したりできます。

図 2b：データセットパス、並行処理数、出力トークンを示すカスタムワークフロー

ステップ 3：モデルの選択と計算リソースの設定

Model（モデル） セクションにある Select（選択） ボタンをクリックして、目的のモデルを選びます。すると、各モデルソースに対応したタブを持つウィンドウが表示されます。

図 3a：モデル選択モーダル（JumpStart、S3、Logged、Deployable の各タブが表示されている状態）

「S3」を選択した場合は、モデル名とアーティファクトの S3 URI パスを指定する必要があります。

図 3b：モデル選択モーダル（JumpStart、S3、Logged、Deployable の各タブが表示されている状態）

モデルを選択すると、SageMaker AI が自動的に最適なハードウェアを選定することもできますし、特定のインスタンスタイプに絞り込むことも可能です。

計算リソースの指定は任意です。

ステップ 2 で最適化目標として「レイテンシ最小化」または「スループット最大化」を選択した場合、Compute（計算） セクションを展開して詳細を設定できます。ここでは、評価対象となるジョブに特定のインスタンスタイプ（例：ml.g6e.2xl や g7e.2xl など）を指定できます。もし指定しない場合、SageMaker AI がモデルの要件に基づいて互換性のあるインスタンスを自動的に選定します。また、柔軟なトレーニングプランを通じて予約容量を持っている場合は、「Source」リストで確認することができます。

注意: SageMaker AI は、コスト最小化（Minimize cost）ユースケースに対して推奨インスタンスを自動選択します。

設定はこれで完了です。あとはジョブを開始して、実行状況を確認するだけです。

ステップ 4: ジョブの実行と監視

Optimize を選択してジョブを提出します。するとジョブの詳細ページに遷移し、ステータスがRunning（実行中）からCompleted（完了）へ移行する様子をリアルタイムで確認できます。

「Interact」のような事前定義されたユースケースは、事前に検証済みの設定と照合されるため、すぐに推奨結果を返すことができます。一方、カスタムベンチマークの場合は、モデルのサイズや使用するインスタンス種別、データセットの内容によっては、完了までに時間がかかる場合があります。

実行中のジョブを停止したい場合は、Actions（アクション）メニューを使用してください。

詳細ページにあるタブを使って、ジョブの内容を詳しく確認できます。

• Overview（概要）タブ：ジョブ完了後に、パフォーマンス指標とともにランク付けされた推奨結果が表示されます。
• Settings（設定）タブ：提出した設定内容（ユースケース、目的、計算リソースの選択など）を確認できます。
• Details（詳細）タブ：ジョブのメタデータ、タイムスタンプ、出力アーティファクトなどの情報が含まれています。

ステップ 5：推奨事項の確認とデプロイ

「概要」タブには、ランク付けされた推論パッケージが表示されます。各パッケージには最適化された設定やパフォーマンス指標（トークン生成までの時間 (TTFT)、トークン間遅延 (ITL)、スループット、コスト）が示され、「デプロイ」ボタンも用意されています。

希望するパッケージでデプロイを選択します。すると、エンドポイント名やインスタンスタイプが自動入力されるウィンドウが開きます。新しいエンドポイントを構築することも、既存のエンドポイントを更新することも可能です。SageMaker AI はその後、3 つのステップを順次実行します。まず最適化されたモデルを登録し、次にエンドポイント設定を設定、最後にエンドポイントのプロビジョニングを行います。エンドポイントが「In Service（稼働中）」状態になれば、すぐに呼び出しを開始できます。

最適化ジョブの管理

「Jobs, Inference optimization」のランディングページでは、最適化ジョブを一元的に管理できます。名前で絞り込むには検索バーを利用します。実行中のジョブを停止するには、対象のジョブを選択し、「Actions（アクション）」から「Stop（停止）」を選んで確認します。古いジョブを削除する場合は、完了または失敗したジョブを選択して「Actions」から「Delete（削除）」を選びます。また、任意のジョブをクリックすると詳細ページが開き、「概要」「設定」「詳細」タブの内容を確認できます。

仕組み

コンソールと API は、どちらも同じ推薦・ベンチマーク基盤を利用しています。SageMaker AI はまず、モデルのアーキテクチャとメモリ要件を分析して設定候補の範囲を絞り込み、実現可能なオプションを特定します。その後、ユーザーが選んだ目標に応じて最適化を適用します。スループット重視なら推測デコーディング（speculative decoding）を、レイテンシ重視ならカーネルチューニング（kernel tuning）を行います。

SageMaker AI は、NVIDIA AIPerf を用いた実機 GPU 環境で各設定をベンチマークし、複数回のテスト結果から信頼区間を算出します。最後に、選んだ最適化目標に対してスコアリングを行い、ベストからワーストへ順に並べた運用開始可能な構成を返します。

推論最適化ジョブは、選択した最適化目標に応じて複数のステップを実行します。コスト最小化を選ぶ場合、SageMaker AI は推奨するインスタンス種別でエンドポイントを作成し、それに対してベンチマークジョブを実行します。ジョブ実行中の「サービス開始（In Service）」ステータスを確認するには、「デプロイメント」→「エンドポイント」を開いてください。ベンチマーク結果の詳細を確認するには、「トレーニング」→「トレーニングジョブ」へ進み、対象のジョブを選択してください。

最小レイテンシを優先する場合、モデルアーキテクチャとインスタンスタイプの両方が対応していれば、SageMaker AI はカーネル最適化デプロイメントを採用します。それ以外の場合は、各インスタンスタイプに対応する 1 つ以上の標準エンドポイントを作成し、それぞれの組み合わせに対してベンチマークジョブをトレーニングジョブとして実行します。進行状況の確認やトラブルシューティングには、「Endpoints」ログと「Training」ログを確認できます。

最大スループットを優先する場合、モデルアーキテクチャとインスタンスタイプが 推測的デコーディング をサポートしていれば、エンドポイントの展開前にまずトレーニングジョブを実行してドラフトモデルを学習させます。その後、各組み合わせに対してベンチマークジョブをトレーニングジョブとして実行します。他の目標設定と同様に、進行状況の確認やトラブルシューティングには「Endpoints」ログと「Training」ログを確認できます。

注: 最適化ジョブが完了すると、自動的にエンドポイントは削除されます。

ベストプラクティス

押さえておくべきベストプラクティスがいくつかあります。モデルのファインチューニングや更新を行った後は、必ず最適化ジョブを再実行してください。また、AWS リージョンで新しいインスタンスタイプが利用可能になった際、トラフィックパターンが大きく変化したとき、またはサービングコンテナやフレームワークのアップグレードを行った際にも、同様に再実行が必要です。

Amazon SageMaker AI チームが新たな知見を追加し続けているため、数週間ごとに定期的なサイクルでジョブを実行しておくのも有効です。

執筆者について

Hrushikesh Gangur 氏

サンフランシスコに拠点を置く AWS のプリンシパル・ソリューションズ・アーキテクト、Hrushikesh 氏です。生成 AI やエージェント型 AI テクノロジーを専門としており、スタートアップ企業や独立系ソフトウェアベンダー（ISV）が AI アプリケーションの構築と展開を行うのを支援しています。

Jesse Gliesman 氏

ニューヨークを拠点に、AWS の AI プラットフォームでシニア UX デザイナーを務める Jesse 氏です。AI や機械学習システムのユーザー体験戦略を策定し、複雑な顧客の要件を直感的なインターフェースに変換することで、サービスの普及を加速させ、明確なビジネス成果につなげています。

Amazon SageMaker AI における UX 取り組みを主導し、ML プラクティショナーのワークフロー効率向上のために基礎研究や Studio のコア体験の再設計を行いました。強力な AI システムとそれを利用する人間の間に存在するギャップを埋めることに情熱を注いでいます。