大規模モデル推論コンテナ - 最新機能と性能向上

現代の大規模言語モデル（LLM）の展開では、トークン数の増加に起因するコストとパフォーマンスの課題が深刻化しています。単語数や画像サイズ、その他の入力要因に直接関連するトークン数は、計算要件とコストの両方を決定します。より長いコンテキストは、1 回の推論リクエストあたりの費用増大を意味します。この課題は、検索拡張生成（RAG）システムや広範なコードベースおよびドキュメントを必要とするコーディングエージェントからの増加するコンテキスト需要に対応するため、最先端モデルが最大 1000 万トークンをサポートできるようになったことで一層激化しています。しかし、業界の研究によると、推論ワークロード全体のトークン数の相当部分が反復的であり、同じ文書やテキストスパンが多数のプロンプトに現れていることが明らかになっています。これらのデータ「ホットスポット」は機会を表しています。頻繁に再利用されるコンテンツをキャッシュすることで、組織は長文コンテキストの推論ワークロードにおいてコスト削減とパフォーマンス向上を実現できます。 AWS は最近、大規模モデル推論（LMI）コンテナに対して大幅な更新を発表し、AWS 上で LLM をホストする顧客向けに包括的なパフォーマンス改善、拡張されたモデルサポート、そして簡素化された展開機能を提供しました。これらのリリースは、運用の複雑さを削減しつつ、人気のあるモデルアーキテクチャ全体で測定可能なパフォーマンス向上をもたらすことに焦点を当てています。 ## LMCache サポート：長文コンテキスト性能の変革 LMI の最新リリース全体で導入された最も重要な機能の一つに、包括的な LMCache サポートがあります。これは組織が長文コンテキスト推論ワークロードを処理する方法を根本的に変えるものです。LMCache はオープンソースの KV キャッシングソリューションであり、現代の LLM エンジンによって生成される KV キャッシュを抽出・保存し、これらのキャッシュを複数のエンジンやクエリ間で共有することで、推論性能の向上を図ります。 従来のプレフィックスのみを対象としたキャッシングシステムとは異なり、LMCache はサービングエンジンインスタンス内で再利用されるテキスト（必ずしもプレフィックスに限らない）の KV キャッシュを再利用します。このシステムはチャンクレベルで動作し、文書や会話全体にわたって一般的に繰り返されるテキストスパンを特定して、その事前計算された KV キャッシュを保存します。このアプローチにより、GPU メモリ、CPU メモリ、ディスク/リモートバックエンドにまたがる多段ストレージが可能となり、トークンシーケンスをキャッシュされた KV エントリにマッピングする内部インデックスを維持するインテリジェントなキャッシングを実現します。LMI の最新リリースでは、LMCache 設定が自動化され、KV キャッシュの展開と最適化が簡素化されました。このローコード・ノーコード（LCNC）インターフェースにより、顧客は複雑な手動設定なしに、この高度な性能機能をシームレスに有効化できます。LMCache は KV キャッシュを GPU メモリから CPU RAM や NVMe ストレージへオフロードすることで、長文コンテキストシナリオの効率的な処理を可能にしつつ、レイテンシの改善にも貢献します。 さまざまなモデルサイズとコンテキスト長にわたる包括的なテストにより、ユーザーエクスペリエンスの変革を支援するパフォーマンス向上が明らかになりました。繰り返しコンテキストを持つワークロードでは、LMCache は数百万トークンのコンテキストを処理する際に、最初のトークンまでの時間（TTFT）を短縮します。LMI を展開する組織は、インスタンスの RAM が許す場合は CPU オフローディングを設定して最適なパフォーマンスを実現するか、より大きなキャッシュ容量が必要なワークロードには O_DIRECT 機能を有効にした NVMe を使用できます。[Amazon SageMaker AI](https://aws.amazon.com/sagemaker/ai/?trk=047fc009-5bd4-4337-800d-8b880665cece&sc_channel=ps&ef_id=Cj0KCQiA49XMBhDRARIsAOOKJHaU-zQTyL3gHCqC76jOUAT9FWTo2Pt4Wha2p05Z8TMtp0rBQbRezfMaAkM2EALw_wcB:G:s&s_kwcid=AL!4422!3!795877020716!e!!g!!amazon%20sagemaker%20ai!23532472972!194311071804&gad_campaignid=23532472972&gbraid=0AAAAADjHtp_qKyl2DqAJz5uueEcAfcgDC&gclid=Cj0KCQiA49XMBhDRARIsAOOKJHaU-zQTyL3gHCqC76jOUAT9FWTo2Pt4Wha2p05Z8TMtp0rBQbRezfMaAkM2EALw_wcB) 上でセッションベースのスティッキールーティングを実装することで、キャッシュ結果率を最大化し、同じセッションからのリクエストが関連するキャッシュコンテンツを持つインスタンスに一貫してルーティングされるように保証できます。 ## LMCache パフォーマンスベンチマーク さまざまなモデルサイズとコンテキスト長にわたる包括的なテストにより、長期コンテキスト推論ワークロードにおけるユーザーエクスペリエンスを向上させるパフォーマンスの改善が明らかになりました。テスト手法は、LMCache Long Doc QA ベンチマークを LMI コンテナで動作するように適応させたもので、3 つのラウンドから構成されています：コールドスタート初期化のためのプリウォームアップ、LMCache ストレージにデータを充填するためのウォームアップラウンド、およびキャッシュからの取得時のパフォーマンスを測定するクエリラウンドです。ベンチマークは、p4de.24xlarge インスタンス（8× A100 GPU、1.1TB RAM、NVMe SSD）上で実施され、Qwen モデルを使用しました。各 10,000 トークンのドキュメントが 46 文（合計 460,000 トークン）、並行リクエスト数は 4 です。 反復コンテキストを伴うワークロードにおいて、LMCache は数百万トークンのコンテキスト処理時に、最初のトークンまでの時間（TTFT）を短縮します。CPU オフローディングは、総リクエストレイテンシで 2.18 倍の高速化（52.978 秒→24.274 秒）、TTFT では 2.65 倍の高速化（1.161 秒→0.438 秒）というパフォーマンス向上をもたらします。O_DIRECT を有効化した NVMe ストレージは CPU の性能に迫る（TTFT: 0.741 秒）一方で、テラバイト規模のキャッシング容量をサポートし、総リクエストレイテンシで 1.84 倍の高速化、TTFT では 1.57 倍の高速化を達成します。これらの結果は、TTFT の 62% 削減とリクエストレイテンシの 54% 削減を示しており、公開された LMCache ベンチマークとほぼ一致しています。改善率のばらつきは、おそらくハードウェアの違いや微細な設定の違いに起因するものです。これらのレイテンシ削減は直接的なコスト削減につながります。なぜなら、リクエスト処理時間の 54% 削減により、同じインフラで 2 倍以上のリクエスト量を処理できるようになり、結果として 1 リクエストあたりの計算コストを半減できるからです。 モデルサイズによって KV キャッシュのトークンあたりのメモリ要件に違いがあるため、性能特性は大きく異なります。大規模なモデルほどトークンあたりに大幅に多くのメモリを必要とし（Qwen2.5-1.5B: 28 KB/token、Qwen2.5-7B: 56 KB/token、Qwen2.5-72B: 320 KB/token）、結果として GPU の KV キャッシュ容量がはるかに短いコンテキスト長で枯渇します。Qwen 2.5-1.5B は GPU メモリ上で最大 260 万トークンの KV キャッシュを保存できますが、Qwen 2.5-72B は 48 万トークンで限界に達します。これは、LMCache が大規模モデルに対しては短いコンテキスト長でも価値を発揮することを意味します。72 B モデルでは、約 50 万トークンから CPU オフローディングを開始することで 4〜6 倍の高速化が期待できる一方、小規模なモデルでは 250 万トークンを越える極端に長いコンテキスト長でのみオフローディングが必要となります。LMI を展開する組織は、インスタンスの RAM が許す場合は最適パフォーマンスのために CPU オフローディングを構成するか、より大きなキャッシュ容量を必要とするワークロードには O_DIRECT を有効にした NVMe を使用できます。SageMaker AI 上でセッションベースのスティッキールーティングを実装することでキャッシュ結果率を最大化し、同じセッションからのリクエストが常に関連するキャッシュコンテンツを持つインスタンスに一貫してルーティングされるようにします。 ## LMCache の使用方法 LMCache の構成には、[GitHub ドキュメント](https://github.com/deepjavalibrary/djl-serving/blob/master/serving/docs/lmcache_performance.md#option-2-automatic-configuration) で定義されている 2 つの主要な方法があります。1 つ目は手動構成アプローチであり、2 つ目は LMI の新バージョンで利用可能になった自動構成です。 **手動設定** 手動設定を行う場合、顧客は独自の LMCache 設定を作成し、プロパティ、ファイル、または環境変数で指定します: option.lmcache_config_file=/path/to/your/lmcache_config.yaml# OROPTION_LMCACHE_CONFIG_FILE=/path/to/your/lmcache_config.yaml このアプローチにより、顧客は LMCache の設定を制御でき、特定の要件に応じてキャッシュストレージバックエンド、チャンクサイズ、その他の高度なパラメータをカスタマイズできます。 **自動設定** 簡素化されたデプロイメントのため、顧客は同様に自動 LMCache 設定を有効にできます: option.lmcache_auto_config=True# OROPTION_LMCACHE_AUTO_CONFIG=True 自動設定では、ホストマシンで利用可能な CPU/ディスクスペースに基づいて LMCache 設定が自動的に生成されます。このデプロイメントオプションは Tensor Parallelism（テンソル並列処理）のデプロイメントのみをサポートし、ディスクベースキャッシングのために/tmp が NVMe ストレージにマウントされていることを前提としており、maxWorkers=1 を必要とします。これらの設定は自動設定で仮定されており、これは 1 つのコンテナインスタンスあたり 1 つのモデルを提供するために設計されています。複数のモデルやモデルのコピーを提供する場合は、[Amazon SageMaker AI inference components](https://aws.amazon.com/blogs/aws/amazon-sagemaker-adds-new-inference-capabilities-to-help-reduce-foundation-model-deployment-costs-and-latency/) を使用してください。これにより、モデル間およびモデルコピー間のリソース分離が容易になります。 自動設定機能は、手動の YAML 設定ファイルが必要となる負担を軽減することで KV キャッシュのデプロイメントを簡素化し、顧客が LMCache の最適化を迅速に開始できるようにします。 ## デプロイメント推奨事項 包括的なベンチマーク結果とデプロイメントの実績に基づき、最適な LMI（Large Model Inference）デプロイメントのためのいくつかの推奨事項が導き出されます： - インスタンスの RAM が許容する場合は CPU オフローディングを設定し、ほとんどのワークロードに対して最適パフォーマンスを提供する。 - 利用可能な RAM を超える大規模なキャッシュ容量を必要とするワークロードには、O_DIRECT（直接 I/O）を有効にした NVMe を使用する。 - SageMaker AI でセッションベースのスティッキールーティングを実装し、キャッシュ結果率の最大化と一貫したパフォーマンスの実現を支援する。 - オフローディング閾値を設定する際はモデルアーキテクチャを考慮すること。異なる KV ヘッド構成を持つモデルは、それぞれ最適な設定が異なるためである。 - 自動 LMCache 設定を使用してデプロイメントを簡素化し、運用上の複雑さを軽減する。 ## EAGLE 推論予測デコーディングによるパフォーマンス向上 最新の LMI リリースでは、EAGLE（Extrapolation Algorithm for Greater Language-model Efficiency：言語モデル効率化のための外挿アルゴリズム）の推論予測デコーディング技術へのサポートを通じて、パフォーマンスの改善を実現しています。この手法は、モデルの隠れ層から直接未来のトークンを予測することで、大規模言語モデルのデコーディングを高速化します。これにより、主要なモデルが並列で検証するドラフトトークンが生成され、出力品質を維持しながら全体の生成レイテンシを削減できます。 EAGLE 推論予測デコーディングの設定は非常に簡単で、デプロイメント設定においてドラフトモデルのパスと推論予測トークンの数値を指定するだけで済みます。これにより、組織は高同時実行性の本番環境向けデプロイや推論に特化したモデルに対して、LLM ホスティングワークロードにおけるより優れたパフォーマンスを実現できます。 ## モデルサポートの拡大とマルチモーダル機能 最新の LMI リリースは、DeepSeek v3.2、Mistral Large 3、Ministral 3、Qwen3-VL シリーズを含む最先端のオープンソースモデルに対する包括的なサポートを提供します。パフォーマンス最適化により、これらのアーキテクチャにおける大規模モデルサービングでのスループットと Time to First Token (TTFT) が向上しました。拡大されたマルチモーダル機能には、FlashAttention ViT サポートが含まれており、これは現在ビジョン・ランゲージモデルのデフォルトバックエンドとして機能しています。EAGLE 推測的デコーディングの改善により、多段 CUDA グラフサポートと Qwen3-VL を用いたマルチモーダルサポートが実現され、ビジョン・ランゲージワークロードにおける推論速度が向上しました。これらの強化により、組織は基盤モデル (FMs) をより迅速かつ効率的に展開およびスケールできるようになり、プロダクションまでの時間を短縮しながら運用複雑性を低減できます。 ## LoRA アダプターホスティングの改善 最新の LMI リリースでは、SageMaker AI 上での複数の LoRA アダプターのホスティングにおいて顕著な改善がもたらされました。LoRA アダプターは現在「遅延ロード」方式で動作します。つまり、推論コンポーネントを作成した際、アダプターのコンポーネントはほぼ即座に利用可能になりますが、アダプター重みの実際の読み込みと推論エンジンへの登録は、最初の呼び出し時に実行されます。このアプローチにより、マルチテナントシナリオにおける柔軟性を維持しつつ、デプロイ時間を短縮できます。 ベースモデルおよびアダプターに対して、カスタム入力・出力前処理スクリプトのサポートが追加されました。各推論コンポーネントは、異なるスクリプトをホストする LoRA アダプターを持つことが可能であり、これによりコア推論コードを変更せずにアダプター固有のフォーマットロジックを実現できます。これは、同じ基盤モデルに対して異なるアダプターが個別のフォーマットルールを適用するマルチテナント環境でのデプロイをサポートするものです。 カスタム出力フォーマッターは、モデルからの応答がクライアントに返される前に変換するための柔軟なメカニズムを提供します。これにより、組織は出力形式の標準化、カスタムメタデータの追加、またはアダプター固有のフォーマットロジックの実装が可能になります。これらのフォーマッターは、デフォルトでベースモデルの応答に適用させるためにベースモデルレベルで定義するか、LoRA アダプターに対してベースモデルの動作を上書きするためにアダプターレベルで定義できます。一般的なユースケースとしては、処理タイムスタンプやカスタムメタデータの追加、プレフィックスやフォーマットによる生成テキストの変換、カスタム指標の計算と注入、異なるクライアントアプリケーション向けのアダプター固有の出力スキーマの実装、および多様なモデルデプロイメント間での応答形式の標準化などが挙げられます。 ## 今日から始めましょう 最新の LMI リリースは、大規模モデル推論機能における重要な前進を象徴しています。組織は以下の機能を活用して、より高いパフォーマンスと柔軟性を備えた最先端の大規模言語モデル（LLM）を展開できます： - リリース全体にわたる包括的な LMCache サポート - 推論の高速化のための EAGLE スペキュレーティブ・ディコーディング（speculative decoding） - 最先端のマルチモーダル機能を備えたモデルサポートの拡大 - LoRA アダプター（adapter）ホスティング機能の強化 コンテナの設定可能なオプションにより、レイテンシ、スループット、コストのいずれを最適化するかといった特定のニーズに合わせてデプロイメントを微調整する柔軟性が提供されます。Amazon SageMaker AI の包括的なシステム機能を活用することで、インフラストラクチャの管理に時間を割くのではなく、ビジネス価値を高める AI 駆動型ソリューションの提供に集中できます。 AWS で生成 AI モデルを展開する際、これらの機能を今日から活用し、パフォーマンスの向上とデプロイメント体験の簡素化によって、本番環境でのワークロード加速にお役立てください。 ## 著者について ![image](https://d2908q01vomqb2.cloudfront.net/f1f836cb4ea6efb2a0b1b99f41ad8b103eff4b59/2025/08/21/DmitrySoldatkin.jpg) ## Dmitry Soldatkin **Dmitry Soldatkin**氏は、AWS のシニア・マシンラーニング・ソリューションズアーキテクトであり、顧客が AI/ML ソリューションを設計・構築するのを支援しています。Dmitry氏の業務は多岐にわたる ML ユースケースをカバーしており、特に生成 AI、ディープラーニング、および企業全体での ML スケーリングに関心を持っています。保険、金融サービス、ユーティリティ、通信など、多くの業界の企業の支援を行ってきました。継続的なイノベーションとデータを活用したビジネス成果の創出に情熱を注いでいます。 ![image](https://d2908q01vomqb2.cloudfront.net/f1f836cb4ea6efb2a0b1b99f41ad8b103eff4b59/2026/02/19/sadaf-100x133.jpg) ## Sadaf Fardeen **Sadaf Fardeen** は、SageMaker における推論最適化のチャーターを統括しています。彼女は、SageMaker 上の大規模言語モデル（LLM）推論コンテナの最適化と開発を担当しています。 ![image](https://d2908q01vomqb2.cloudfront.net/f1f836cb4ea6efb2a0b1b99f41ad8b103eff4b59/2024/12/02/lokravi.jpeg) ## Lokeshwaran Ravi **Lokeshwaran Ravi** は AWS のシニアディープラーニングコンパイラエンジニアであり、機械学習（ML）の最適化、モデルの高速化、AI セキュリティを専門としています。彼は、効率性の向上、コスト削減、そして AI 技術の民主化を実現する安全なエコシステムの構築に注力しており、最先端の ML をあらゆる業界で利用可能かつ影響力のあるものにする取り組みを行っています。 ![image](https://d2908q01vomqb2.cloudfront.net/f1f836cb4ea6efb2a0b1b99f41ad8b103eff4b59/2026/02/19/sumakasa-100x133.jpg) ## Suma Kasa **Suma Kasa** は、SageMaker サービスチームに所属する ML アーキテクトで、SageMaker 上の大規模言語モデル（LLM）推論コンテナの最適化と開発に注力しています。著者紹介 ![image](https://d2908q01vomqb2.cloudfront.net/f1f836cb4ea6efb2a0b1b99f41ad8b103eff4b59/2026/02/02/frgud.jpg) ## ダン・ファーガソン **ダン・ファーガソン**は、米国ニューヨークを拠点とする AWS のシニアソリューションアーキテクトです。機械学習サービス分野の専門家として、顧客が ML ワークフローを効率的かつ効果的に、さらに持続可能な形で統合できるよう支援しています。 ![image](https://d2908q01vomqb2.cloudfront.net/f1f836cb4ea6efb2a0b1b99f41ad8b103eff4b59/2026/02/20/smouaa-100x133.jpg) ## シェン・モウサ **シェン・モウサ**は AWS のソフトウェア開発エンジニアです。彼女はサービングと最適化チームに所属し、大規模言語モデル推論のための効率的でスケーラブルなソリューション構築に注力しています。

大規模モデル推論コンテナ - 最新機能と性能向上

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト