NVIDIA TensorRT を用いた RTX ランタイムでの Unreal Engine NNE インフレンス高速化

ニューラルネットワーク技術は、画像品質の向上、パフォーマンスの改善、コンテンツ制作の効率化のために、コンピュータグラフィックスにおいてますます広く利用されるようになっています。スーパーリゾリューション（超解像）、デノイジング（ノイズ除去）、ニューラルレンダリングといったアプローチは、リアルタイムエンジンがより効率的に動作するのを助けつつ、パフォーマンスを考慮したまま新たな創造の可能性を提供します。 Unreal Engine 5 (UE5) は、複数のバックエンドにわたる推論ワークロードを統合する抽象化レイヤーとして機能する [Neural Network Engine](https://dev.epicgames.com/documentation/unreal-engine/neural-network-engine-overview-in-unreal-engine)（NNE）の導入により、この方向へいくつかのステップを踏み出しました。開発者は、リアルタイムグラフィックスワークフローにニューラルネットワーク機能をシームレスに統合するために、利用可能なハードウェアに応じて GPU 上でさまざまなランタイムを使用したり、CPU にフォールバックしたりできます。 本ブログ記事では、NVIDIA RTX GPU 上での効率的な推論を可能にする NNE ランタイムオプションとして NVIDIA TensorRT for RTX を追加する新しいプラグイン（NNERuntimeTRT）について解説します。その利点を示すために、ポストプロセス AI モデルを実行して DirectML などの他の GPU ランタイムとの比較における向上分を強調する、簡略化された UE プロジェクトを使用します。 まず、プロジェクトに関与する異なるコンポーネントについて簡単に議論しましょう。 ## TensorRT for RTX の概要 TensorRT for RTX は、ユーザーが AI モデルを RTX GPU でより効率的にデプロイすることを可能にします。これは、ランタイム内で Just-In-Time (JIT) オプティマイザーを使用し、ユーザーの GPU に合わせた推論エンジンを作成します。このコンパイルはユーザーのマシン上で一度だけ実行され、特定のハードウェア向けにモデルが最適化されます。 その結果、TensorRT for RTX はデフォルトの実行プロバイダーと比較してより高いスループットを提供できます。例えば、[スループット比較](https://docs.nvidia.com/deeplearning/tensorrt-rtx/latest/architecture/architecture-overview.html) では、NVIDIA GeForce RTX 5090 GPU で測定した際、TensorRT for RTX を使用すると DirectML を使用する場合と比較して各種モデルで改善が見られることが示されています。 TensorRT for RTX は、Turing 世代（計算能力 7.5）から NVIDIA Blackwell 世代（計算能力 10.0）までの NVIDIA RTX GPU のみと互換性があります。 ## Unreal Engine ニューラルネットワークエンジン概要 NNE は推論タスクを呼び出すための複数のランタイムをサポートしており、CPU と GPU の選択が可能です。TensorRT for RTX は GPU 向けのものであり、この概要では NNE の GPU ランタイムに焦点を当てます。 NNE は GPU で推論を実行できますが、その方法は以下の通りです： - CPU から同期実行し、メモリの同期が必要となる場合。 - レンダー依存グラフ (RDG) を通じて非同期で実行し、フレームレンダリングと同期させる場合。 同期方式は、ホストとデバイス間のデータ転送を気にする必要がないエディタや LLM などのイベントベースの推論タスクではよく機能します。一方、RDG はモデル評価をレンダリングリソースに紐付けるため、AI によるポストプロセッシング、アップスケーリング、またはデノイジングに最適です。 NNE TensorRT for RTX プラグインは GPU および RDG 方式の両方をサポートしており、コンシューマー向けデバイスで高いパフォーマンスを維持しつつ、レンダリング、アニメーション、言語、音声など多様な AI アプリケーションに対して柔軟性を提供します。 ## スタイル転送ポストプロセッシングサンプルプロジェクト NNE TensorRT for RTX プラグインをテストするために、ポストプロセッシング中にスタイル転送モデルを適用する基本的な UE5 プロジェクトを作成しました。テストでは、DirectML と TensorRT を切り替える際に視覚的な一貫性を保ちつつ、両者の結果とパフォーマンスを比較しやすくするため、いくつかの基本的なプリミティブと固定カメラを使用したシンプルなレベルを設定しました。 ## 前提条件 プロジェクトはほぼ使用可能な状態ですが、UE5 の経験、ポストプロセスマテリアルの知識、およびエンジンソースコードのコンパイルに関する理解があると推奨されます。 スタイル転送推論を実行しレンダリングリソースを管理するには、NNE 実装が必要です。UE5 ではニューラルポストプロセッシングプラグインを通じてこの機能を提供しており、RDG を介して GPU で推論を行います。本プロジェクトでは、NNERuntimeTRT の RDG 方式を利用します。 必要なことは、適切なスタイルモデルを学習するかダウンロードすることだけです。[ONNX ゾー](https://github.com/onnx/models/tree/main/validated/vision/style_transfer/fast_neural_style)から事前学習済みモデルを使用します。 プロジェクトにはすでにインポートされたモデル (candy-9-720.uasset) が含まれています。 ## プロジェクト設定 NNE TensorRT for RTX プラグインは、ランチャーから入手可能な 5.7 バイナリエンジンリリースと互換性がありますが、ニューラル後処理プラグインにはそのニューラルプロファイルアセット内にハードコードされたランタイムのリストが含まれています。ニューラルプロファイルアセットで利用可能なランタイムのリストに NNERuntimeTRT を含めるために、コードを更新する必要があります。 始めましょう: - GitHub からエンジンソースを取得します。 これが初めてエンジンコードベースにアクセスする場合は、GitHub アカウントを Epic アカウントとリンクする必要があります。エンジンコードベースへのアクセスプロセスについて説明している[このドキュメント](https://dev.epicgames.com/documentation/unreal-engine/downloading-source-code-in-unreal-engine?lang=en-US)を確認してください: - 初期のエンジンセットアップ後、Visual Studio ソリューションが作成されているはずです。ソリューションを開き、以下のパスにある neuralprofile.h/cpp ファイルを探します: Engine\Source\Runtime\Engine\Classes\Engine - neuralprofile.h で、ENeuralProfileRuntimeType に NNERuntimeTRT を追加します (59 行目)。以下のように記述します: UNNERuntimeRDGTensorRT UMETA(DisplayName = "NNERuntimeTRT"), 4. 完全な列挙型クラスは以下のようになります: UNNERuntimeRDGTensorRT UMETA(DisplayName = "NNERuntimeTRT"), UENUM(BlueprintType) enum class ENeuralProfileRuntimeType : uint8 { NNERuntimeORTDml UMETA(DisplayName = "NNERuntimeORTDml"), NNERuntimeRDGHlsl UMETA(DisplayName = "NNERuntimeRDGHlsl"), UNNERuntimeRDGTensorRT UMETA(DisplayName = "NNERuntimeTRT"), MAX UMETA(Hidden) }; 5. neuralprofile.cpp 内で GetNeuralProfileRuntimeName を見つけ、kRuntimeNames 配列に追加します（28 行目）: ,TEXT("NNERuntimeTRT") 6. kRuntimeNames 配列の完全な内容は以下の通りです: static const TCHAR* const kRuntimeNames[] = { TEXT("NNERuntimeORTDml"), TEXT("NNERuntimeRDGHlsl"), TEXT("NNERuntimeTRT") }; - プラグインは Fab または NVIDIA Developer ページから入手してください。 - このパスのエンジンプラグインフォルダ配下にプラグインを展開します：…\Engine\Plugins\Runtime\Nvidia。プロジェクト内にプラグインを配置することも可能ですが、今回のケースではエンジンプラグインの下に置く方が簡単です。 - エンジンをビルドします。コンパイルにはこれらの詳細な手順を使用してください。最初のコンパイルには時間がかかるため、休憩をとるかコーヒーを飲みながら待つことをお勧めします。 - サンプルプロジェクトで始めましょう。 サンプルプロジェクトのリポジトリをクローンします。 - コンパイル済みのエンジンでプロジェクトを読み込み、テストレベル（LVL_PPStyleTest）を実行します。 ![image](https://developer-blogs.nvidia.com/wp-content/uploads/2026/04/Neural-Post-Processing.webp)*図 1. スタイライズされたニューラルポストプロセッシング効果を示すサンプルプロジェクト* ## パフォーマンスプロファイリング テストレベルを再生中は、エンジン統計情報を有効化し、TensorRT for RTX (TRT) と DirectML (DML) を切り替えてパフォーマンスの向上を確認してください。より包括的なプロファイリングを行うには、[Unreal Insights](https://dev.epicgames.com/documentation/unreal-engine/unreal-insights-in-unreal-engine?lang=en-US) を使用して、DML および TRT の両方におけるフレーム情報と内訳をキャプチャします。 NVIDIA GeForce RTX 5090 GPU を搭載したシステムで 1080p レゾリューションの場合、Unreal Insights によると DML は 5.7 ms を要しましたが、TRT では 3.8 ms で完了し、1.5 倍のパフォーマンス向上が確認されました。 ![image](https://developer-blogs.nvidia.com/wp-content/uploads/2026/04/DirectML.webp)*図 2. ニューラルポストプロセッシングステージ内における DirectML エンキュータスクの持続時間 (5.7 ms) を示す Unreal Insights* ![image](https://developer-blogs.nvidia.com/wp-content/uploads/2026/04/TensorRT.webp)図 3. ニューラルポストプロセッシングステージ内における TensorRT for RTX エンキュータスクの持続時間 (3.8 ms) を示す Unreal Insights ## 他のスタイル転送モデルの使用 ONNX ゾーのスタイル転送モデルを使用するか、独自のモデルをトレーニングすることもできます。ただし、ONNX ゾーのモデルは入力および出力テンソルに対して 1x3x224x224 の固定次元を持っています。ニューラルプロセスプラグインは、小規模モデルをより大きなフレームバッファにタイル処理する機能を備えています。これにより視覚的に許容できる結果が得られますが、1 フレームあたり複数の推論タスクが生成され、NVIDIA CUDA とグラフィックスの間で頻繁なコンテキストスイッチが発生するため、推奨はされません。複数のコンテキストスイッチによる追加オーバーヘッドを回避するには、モデルの次元を 1x3x720x720 に変更し、タイル処理なしで推論を実行しながらも良好な視覚品質を維持してください。 サンプルプロジェクトのリポジトリには、スタイル転送 ONNX モデルの入力および出力テンソル次元をリサイズする Python スクリプトを含めています。 NNE を使用して独自の AI アプリケーションを構築する方法については、[公式ドキュメント](https://dev.epicgames.com/documentation/unreal-engine/neural-network-engine-in-unreal-engine)をご参照ください。

NVIDIA TensorRT を用いた RTX ランタイムでの Unreal Engine NNE インフレンス高速化

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト