NVIDIA TensorRT LLM AutoDeployによる推論最適化の自動化

NVIDIA TensorRT LLMは、大規模言語モデル（LLM）向けの高性能推論エンジンを開発者が構築することを可能にしますが、新しいアーキテクチャをデプロイするには、従来は多大な手作業が必要でした。この課題に対処するため、本日、TensorRT LLMにおけるベータ機能としてAutoDeployの提供を発表します。 AutoDeployは、市販のPyTorchモデルを推論最適化グラフにコンパイルします。これにより、推論特有の最適化をモデルコードに直接組み込む必要がなくなり、LLMのデプロイ時間を短縮します。AutoDeployは、各モデルを手動で再実装・最適化するアプローチから、モデルの作成と推論最適化を分離したコンパイラ主導のワークフローへの移行を実現します。 この記事では、AutoDeployのアーキテクチャと機能を紹介し、それが最近のNVIDIA Nemotronモデルのローンチ時サポートをどのように可能にしたかを示します。 AutoDeployとは？ 新しいLLMアーキテクチャには、トランスフォーマーモデルからハイブリッド視覚言語モデル（VLM）、状態空間モデル（SSM）まで、それぞれ固有の推論上の課題があります。リファレンス実装を高性能な推論エンジンに変換するには、通常、KVキャッシュ管理の追加、GPU間での重みのシャーディング、演算の融合、特定のハードウェア向けの実行グラフの調整などが必要です。 AutoDeployは、このワークフローをコンパイラ主導のアプローチへと移行させます。モデルの作成者に推論ロジックを手動で再実装させる代わりに、AutoDeployは市販のPyTorchモデルから計算グラフを自動的に抽出し、一連の自動変換を適用して、推論最適化されたTensorRT LLMグラフを生成します。これにより、モデルをPyTorchで一度記述するだけで、キャッシング、シャーディング、カーネル選択、ランタイム統合といった推論特有の懸念事項をコンパイラとランタイムに委譲できます。 このアプローチは、新しい研究用アーキテクチャ、内部バリアント、急速に変化するオープンソースモデルなど、手動での再実装が非現実的または正当化されないことが多い、いわゆる「ロングテール」のモデル群に特に適しています。AutoDeployは、競争力のあるベースラインパフォーマンスでローンチ時にデプロイを可能にしつつ、モデルが成熟するにつれて段階的に最適化していく明確な道筋を残します。 AutoDeployが提供するもの： シームレスなモデル変換：Hugging Faceモデルを手動で書き換えることなく、自動的にTensorRT LLMグラフに変換 単一の信頼できる情報源：元のPyTorchモデルを正規の定義として保持 推論最適化：シャーディング、量子化、KVキャッシュ挿入、アテンション融合、CUDA Graphs最適化などを適用 ローンチ時のデプロイ：即時のデプロイを可能にし、時間の経過とともに継続的なパフォーマンス向上を実現 すぐに使えるセットアップ：TensorRT LLMの一部として、例とドキュメントとともに提供 AutoDeployは以下の用途に使用できます： 新規または実験的アーキテクチャ：研究モデル、ハイブリッド設計、新しいトークンミキシング（アテンション）メカニズムを迅速にデプロイ ロングテールモデルのサポート：カスタムの推論実装なしに、内部モデル、ファインチューニング済みモデル、または一般的でないモデルを提供 迅速なパフォーマンス立ち上げ：競争力のあるベースラインパフォーマンスに素早く到達し、その後段階的に最適化 統一された学習から推論へのワークフロー：モデル定義にはPyTorchを維持しつつ、ランタイム統合にはTensorRT LLMを依頼 AutoDeployは現在、100以上のテキスト生成LLMをサポートしており、VLMやSSM、LlamaモデルファミリーやNVIDIA Nemotron 3 Nanoなどのパフォーマンス最適化モデルの早期サポートも提供しています。 AutoDeployの技術的背景 AutoDeployは、元のHugging FaceモデルとTensorRT LLMランタイムの間に位置します。LLM APIはモデル名またはチェックポイントディレクトリを受け取り、高レベルのLLMオブジェクトを返します。内部では、そのオブジェクトはAutoDeploy（自動）または手動バックエンドを使用できます。 図1が示すように、AutoDeployパスはグラフを自動的に抽出し、最適化を適用して、推論最適化グラフを生成します。手動パスでは、エンジニアが同じランタイムで実行する前に、モデルを（KVキャッシュロジック、アテンションカーネル、シャーディング、カーネル融合などを追加して）書き換える必要があります。 グラフキャプチャとパターンマッチング AutoDeployはtorch.exportを使用します。 この最初のステップで、AutoDeployは、エキスパートの混合（MoE）、アテンション、RoPE、状態空間層などの一般的な構成要素が、カスタム演算としてグラフ内の単一ノードとして表現されるリファレンス実装を使用して表現されるようにします。 図2は、アテンションがすべてのモデルで、PyTorch内の単一で解釈しやすいカスタム演算子としてどのように表現されるかの例を示しています。 このアプローチにより、パフォーマンス最適化やランタイム統合から切り離された、シームレスなモデルサポートのオンボーディングプロセスが保証されます。 さらに、モデルのオンボーディングは、パターンマッチングによる完全自動オンボーディングと（完全な）手動書き換えの間のスライディングスケールで行われ、最終的なモデルグラフがモデルを完全に実行できるようにします。モデル作成者は、関連する演算をPyTorchカスタム演算子としてデコレートすることで、カスタムカーネルをモデルグラフに注入できます。AutoDeployコンパイラは関連する演算子を変更しません（図3）。 シャーディング、融合、およびパフォーマンス最適化 次の段階では、AutoDeployは、融合パス、パフォーマンス調整済みレシピ、および最適化カーネルのグラフ表現への挿入を組み合わせた、コンパイラのようなパスを通じて、パフォーマンス最適化を自動的に適用します。この段階では、利用可能なヒューリスティックまたはHugging Faceのシャーディングヒントを再利用して事前指定されたシャーディングヒントに基づき、マルチGPU推論のためにモデルがシャーディングされます。 柔軟なアテンションとキャッシングサポート グラフキャプチャとパターンマッチング中、AutoDeployはトークンミキシング（例えば、アテンション）演算子を、AutoDeploy正規化リファレンス演算子として表現される、単純なプリフィルのみの演算として表現します。これは、ソフトマックスアテンションの例について図3に描かれています。 その後、システムは自動的にパフォーマンス最適化されたアテンションカーネルへの交換を処理し、トークンミキシング演算子のキャッシングメカニズムをTensorRT LLM最適化キャッシュマネージャーシステムに自動的に統合します。現在、AutoDeployは、ソフトマックスアテンション、状態空間層（Mamba2）、線形アテンション（DeltaNet）、因果的畳み込みから任意に構成されるモデルを扱うことができます。 キャッシングを伴う他の演算子のサポート追加は、厳格なインターフェースに従い、容易に拡張可能です。 コンパイルツール AutoDeployは、モデルをさらにコンパイルおよび低レベル化するための一般的な市販ツール、例えばtorch.compileと統合します。 ランタイム統合 AutoDeployは、モデルを最適化されたTensorRT LLMランタイムに統合するすべての側面を処理します。これには、オーバーラップスケジューラ、チャンク化プリフィル、投機的デコード、キャッシュおよび状態管理などの機能が含まれ、モデル作成者にモデルとランタイムの複雑に絡み合った依存関係の負担をかけません。 AutoDeployパフォーマンス例：Nemotron 3 Nano AutoDeployの能力を測るために、チームはハイブリッドMoEモデルであるNVIDIA Nemotron 3 Nanoのオンボーディングを行いました。このようなモデルを推論用に手動で調整するには通常数週間かかりますが、AutoDeployにより数日以内でのオンボーディングが可能になり、その後、手動調整されたベースラインと同等の性能を発揮する段階的な最適化が行われました。 単一のNVIDIA Blackwell DGX B200 GPU上で、AutoDeployはTensorRT LLMにおける手動最適化ベースラインと同等の性能を発揮しました（図4）。ユーザーあたりのスループットでは最大毎秒350トークン、レイテンシおよび高スループットアプリケーションでは最大毎秒13,000出力トークンをそれぞれ達成しました。 データは、ISL/OSL 1k/1k、TP=1、NVIDIA DGX B200上で、TensorRT LLM v1.3.0rc1、trtllm-serveを使用して収集されました。 この結果を自身で再現するには、NVIDIA Nemotron 3 Nano Checkpointで概説されている手順に従ってください。 モデルオンボーディング例：Nemotron-Flash Nemotron-Flashは、純粋に手動の推論ワークフローを使用してサポートすることが難しいタイプのアーキテクチャの代表的な例です。このハイブリッド研究モデルは、状態空間層、ソフトマックスアテンション、線形アテンションを含む複数のトークンミキサーを組み合わせており、重要な手動実装を必要とします。

NVIDIA TensorRT LLM AutoDeployによる推論最適化の自動化

背景や根拠まで確認しますか？

調べる

選ぶ

サイト