NVIDIA ACE ゲームエージェント SDK と Unreal Engine 5 プラグインを用いたオンデバイス AI コンパニオンの構築
本文の状態
日本語全文を表示中
詳細モードで約13分の本文を読めます。
同じ出来事の情報源
この情報源を基点に整理
NVIDIA Developer Blog
NVIDIA は、Unreal Engine 5 の RTX ブランチおよび DLSS プラグインを活用し、オンデバイスで動作する AI ゲームキャラクター（コンパニオン）を構築するための SDK とプラグインを発表した。
Source Article
元記事を日本語で読む
本文に関係しない購読案内、埋め込み通知、サイト内プロモーションは除いています。
NVIDIA RTX テクノロジーは、Unreal Engine の NVIDIA RTX ブランチおよび NVIDIA DLSS Unreal Engine プラグインを通じて Unreal Engine 5 に深く統合されています。これにより、開発者は高度なレンダリング、フレーム生成、レイトレーシング照明に直接アクセスできます。NVIDIA は、Unreal Fest 2026 で発表された通り、デバイス内 AI キャラクターやゲームプレイの構築に向けた新ツールを導入し、この統合を拡大しています。
本記事では以下の内容を取り上げます:
- デバイス内 AI コンパニオン（相棒）を構築するための新しい NVIDIA ACE Game Agent SDK
- ブループリントおよび C++ サポートを備えた、ASR（音声認識）、LLM（大規模言語モデル）、TTS（テキスト読み上げ）用の新 NVIDIA ACE Unreal Engine 5 プラグイン
- 6 月 30 日に開催される、新 ACE プラグインを紹介する「Level Up with NVIDIA」ウェビナーのライブ配信
- Unreal Engine における DLSS 4.5 の始め方
NVIDIA ACE を活用してデバイス内 AI コンパニオンの構築をより容易に
AI は、これまで不可能だった体験を提供する次世代 NPC（非プレイヤーキャラクター）の可能性を開いています。例えば、KRAFTON 社は最近、『PUBG: BATTLEGROUNDS』における AI チームメイト「Ally」を発表しました。Ally は自然な音声対話を用いてプレイヤーの意図を理解し、ゲームプレイを解釈し、リアルタイムで動的に反応します。堅苦しいスクリプトに従うのではなく、Ally は協力し、戦闘や戦利品の収集に適応し、自然なコミュニケーションを行います。そして、この AI は GeForce RTX によって完全にデバイス内で動作しています。『PUBG』の Ally はまもなくオープンベータ版として利用可能になります。
オンデバイス AI NPC を構築するには、適切な AI モデルを選択するだけでなく、それらをシームレスかつ高パフォーマンスなパイプラインに統合する必要があります。開発者は、瞬時の応答のために会話の遅延を最小限に抑えたり、グローバルおよび動的なゲーム状態を同期したり、NPC が無限ループに陥らないように防止したりするなど、実現可能な体験を提供するために課題を克服しなければなりません。
NVIDIA ACE Game Agent SDK ベータ版と Unreal Engine 5 プラグインを使用することで、ゲーム開発者や独立系ソフトウェアベンダー（ISV）は、より応答性の高いオンデバイス AI コンパニオンを容易に構築および展開できるようになります。
NVIDIA ACE Game Agent SDK とは何か？
NVIDIA ACE Game Agent SDK は、シームレスでネイティブなゲーム内統合のために設計された軽量な C/C++ エージェントフレームワークです。これはオープンソースの完全カスタマイズ可能なソリューションであり、小規模モデルおよび NVIDIA RTX によるハードウェアアクセラレーションに最適化されています。
開発者は、3 つのコア API カテゴリを通じて SDK と対話します：
- エージェント API（Agent API）: チャット履歴を保持し、最小限のアプリケーションコードで自律的に多段階かつツール支援型の推論を駆動するステートフルな API
- チャット API（Chat API）: 開発者が推論に対して直接制御権を持つことができるステートレスな API
- RAG API（RAG API）: 開発者構築データベースからの意味的、語彙的、およびハイブリッド型知識検索を可能にする API。これにより、モデルの応答が最新の情報に基づいて grounding（根拠付け）されます
これらのツールを組み合わせることで、NPC はリアルタイムのプレイヤー入力に基づいてゲーム世界内で動的に知覚し、推論し、行動できるようになります。これらのツールは、実験的なゲーム内 AI アドバイザーとして『Total War: PHARAOH』などの実際のゲームで実用化され、戦闘テスト済みです。古代エジプトのパロオとして描かれるこのアドバイザーは、反乱を鎮圧するための宮廷での行動や建築建設の推奨など、文脈に応じたアドバイスを提供します。プレイテストプログラムは 2026 年に開始される予定です。これは、プレイヤーの戦略に関する質問にリアルタイムで回答するために、1,200 以上の相互リンクされたゲームデータテーブルを照会する 検索拡張生成 (RAG) アーキテクチャを採用しています。
ゲームの未来を構築するために、ベータ版の NVIDIA ACE Game Agent SDK をダウンロードしてください。
新しい NVIDIA ACE Unreal Engine 5 プラグインスイートには何が含まれているか？
Unreal Engine 5 の開発者およびテクニカルアーティスト向けに、新しい NVIDIA ACE プラグインのスイートが利用可能になりました。これらのローカル実行時 AI モデルは、Blueprint および C++ の統合を標準でサポートしており、3 つの柱をカバーしています：
- 自動音声認識 (ASR): すぐに使用可能な英語言語モデル「nemo-conformer-ctc-120m」を含み、7 つの追加言語のダウンロードオプション、サンプルレベル、および迅速なセットアップのための Blueprint の例を提供します。
- 小型言語モデル (SLM): ローカル GGUF サポートを提供し、低遅延のテキスト生成と関数呼び出し機能を実現します。即座にキャラクター対話や意思決定を行うために最適化されており、すぐに使用可能な Qwen 3.5 4B モデルも含まれています。
- テキストから音声へ (TTS): 高品質な Chatterbox Turbo 350M TTS モデル、サンプルボイス、サンプルレベル、およびキャラクターを即座に生き生きとさせるための専用プラグインコンテンツを含んでいます。
これらのプラグインにより、クリエイターはゲームロジック内で直接、ライブ文字起こし、動的なキャラクター対話、音声コマンド、文脈に応じたアクション応答を実装できます。
高いレイテンシや予測不能な運用コストに悩まされるクラウドベースのサービスとは異なり、これらのプラグインはすぐに使用可能なモデルをバンドルしたローカルかつ RTX 最適化されたワークフローを提供します。これにより、Unreal Engine 5 プロジェクトに対して即座にエンドツーエンドの AI NPC パイプラインを実現できます。
開始するには NVIDIA ACE Unreal Engine 5 プラグインをダウンロード してください。また、サポートや議論のために NVIDIA Developer Discord コミュニティ にご参加ください。
詳しくは、6 月 30 日に開催される NVIDIA のライブウェビナー「Level Up with NVIDIA」の一環として行われる「Unreal Engine 5.7 で AI パワー付き NPC を構築する」登録ページにてご登録ください。このウェビナーでは、これらのプラグインに関する詳細が提供され、質疑応答の機会も設けられます。
新しい NVIDIA DLSS 4.5 Unreal Engine プラグインとは何ですか？
新しい DLSS 4.5 Unreal Engine プラグイン は、DLSS 4.5 ダイナミックマルチフレーム生成、マルチフレーム生成 6X モード、およびスーパーリゾリューション用の第 2 世代トランスフォーマーへのサポートを追加します。
このプラグインは、最新の DLSS スーパーリゾリューションとフレーム生成の更新に直接アクセスできる機能を提供します。Streamline を基盤として構築されており、DLSS の各機能間で一貫した統合パスを確立しています。これにより、開発者はレイ再構成（Ray Reconstruction）やダイナミックマルチフレーム生成などの機能を選択的に導入することが可能になります。更新された API、ドキュメント、およびサンプルコードは、統合時間の短縮に寄与し、新規プロジェクトおよび既存プロジェクトの両方に DLSS を組み込むことを容易にします。
*ビデオ 1: DLSS 4.5 Unreal Engine プラグインの特徴、インストール方法、基本的なスクリプト作成、および設定項目について学ぶ*
Unreal Fest 2026 でさらに詳しく知る
NVIDIA ACE と Unreal Engine がインタラクティブキャラクターのパフォーマンスの未来をどのように再定義しているか学ぶために、Unreal Fest 2026 に NVIDIA のブースへお越しください。
6 月 17 日のセッション Ready, Set, Action: Why Your Next NPC Should Be Their Own Method Actor では、NPC の*役割*と*演技者*を分離する、自律型ゲームキャラクター構築のための新しいワークフローを紹介しています。大規模な教師モデルによって生成された合成トレーニングデータを用いることで、キャラクターの行動を軽量で展開可能な LoRA 駆動のパフォーマンスに凝縮し、NVIDIA GeForce RTX ハードウェア上でローカル実行できるようにします。これにより、深く反応性があり、常にキャラクター設定に沿った AI パーソナリティを作成する方法を学べます。
このセッションでは、NVIDIA ACE を活用してオンデバイスで完全に動作するゲーム開発者が、Unreal Engine 5.7 でインタラクティブな MetaHuman NPC を容易に作成できる方法が紹介されます：
- ACE UE Speech Plugins: リアルタイム音声認識のための Riva Parakeet ASR、表現豊かな音声合成のための Chatterbox TTS
- Audio2Face: 顔のアニメーションおよびパフォーマンスの実行
最新のワークフローにより、NPC はゲームプレイ中に動的にキャラクター設定に沿って演技を行い、その後キャラクター設定を破って開発者と直接協力し、動機の洗練、背景物語素材の生成、将来のトレーニングデータ構築の支援を行うことができます。
AI 搭載機能を備えたフルスケールのファーストパーソン・チョーク戦争ゲーム
3.5 億回以上の再生数を誇る「Chalk Warfare シリーズ」を手掛けるスタジオ、SOKRISPYMEDIA は、このフランチャイズに基づいたフルスケールのファーストパーソンアクションゲームを構築中であり、その目玉機能はローカル AI に依存しています。プレイヤーが手書きで好みの武器を描くと、ゲームは数秒以内にそれを統合します。各武器の持ち方、発射方法、反動、リロード動作を処理するようにモデルが訓練されています。
高価なクラウドコンピューティング費用を支払わずにこの専用マッチングモデルを訓練するために、チームはデュアル NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition GPU を搭載した Puget Systems のワークステーション上で作業を行いました。2D コンテンツからプレイ可能なメディアへと移行するリアルタイムレンダリングのベテランたちが、AI 訓練用にチューニングされたハードウェア上で活動しています。Unreal Fest でゲームの実演をご覧になりたい方は、Puget Systems のブースへお越しください。
Unreal Engine で利用可能になった、プロンプト対応かつ制御可能な人間動作
NVIDIA は、プロンプト対応で制御可能な人間動作のためのオープンソースプロジェクト NVIDIA Kimodo をリリースしました。平語で動作を記述する（例：「人が喜んで前に歩き出し、その後空中にジャンプする」）、特定の骨格や全身のキーフレームを指定して正確なアートディレクションを行うことで、複雑な人間動作を数秒で生成できます。
このプロジェクトを基盤に、Animotive Kimodo は Kimodo を Unreal Engine に直接組み込むプラグインであり、アニメーターがエディターから離れることなく、独自のリグ上で AI 生成モーションの洗練、レイヤー化、手動キーフレーム調整を可能にします。AI モーションは、職人技を置き換える固定された出力ではなく、あくまで出発点です。
Unreal Engine プラグインは本日リリースされ、Blender および Maya との統合も今後追加されます。セルフホスト版または Animotive Cloud を通じて利用可能です。今後のアップデートでは、AAA スタジオが独自のアニメーションデータセットを安全にアップロードし、Animotive Kimodo が彼ら固有の社内スタイルに従うようにトレーニングできるようになります。Animotive Kimodo のローンチ に関する詳細はこちらをご覧ください。
Unreal Engine 5 で NVIDIA ACE と DLSS 4.5 を始める
Unreal Fest 2026 にて、NVIDIA はデバイス内 AI キャラクターとゲームプレイを実現するための機能追加を発表します。これには NVIDIA ACE を活用した ACE Game Agent SDK、新しい Unreal Engine 5 プラグイン、および DLSS 4.5 が含まれます。
2026 年 7 月 20 日に開催される SIGGRAPH 2026 にて、NVIDIA AI リーダーの Sanja Fidler 氏、Ming-Yu Liu 氏、David Luebke 氏と共に参加し、コンピュータグラフィックスとシミュレーションの未来を形作る最新ブレークスルーを探求してください。
ゲーム開発者向けリソース
ゲーム開発者向けリソースの完全リストは こちら でご確認ください。また、最新の NVIDIA ゲーム開発ニュースについては以下より最新情報を入手できます：
- ニュースレターを購読する（業界として「gaming」を選択してください）
- ソーシャルメディアでフォローする：X, LinkedIn, Facebook, YouTube
- Discord コミュニティに参加する
原文を表示
NVIDIA RTX technologies are deeply integrated into Unreal Engine 5 through the NVIDIA RTX Branch of Unreal Engine and the NVIDIA DLSS Unreal Engine plugin. This provides developers with direct access to advanced rendering, frame generation, and ray-traced lighting. NVIDIA is expanding this integration with new tools for building on-device AI characters and gameplay, as announced at Unreal Fest 2026.
This post covers:
- The new NVIDIA ACE Game Agent SDK for building on-device AI companions
- New NVIDIA ACE Unreal Engine 5 plugins for ASR, LLM, and TTS with blueprint and C++ support
- A live Level Up with NVIDIA webinar on June 30 covering the new ACE plugins
- How to get started with DLSS 4.5 in Unreal Engine
Build on-device AI companions more easily with NVIDIA ACE
AI is unlocking next-generation NPCs that deliver experiences that were previously impossible. For example, KRAFTON recently showcased Ally, an AI teammate in *PUBG: BATTLEGROUNDS *that uses natural voice interaction to understand player intent, interpret gameplay, and respond dynamically in real time. Instead of following rigid scripts, Ally cooperates, adapts to combat or looting, and communicates naturally. And it runs AI fully on-device powered by GeForce RTX. *PUBG* Ally will soon be available in open beta.
Building on-device AI NPCs requires not only choosing the right AI models, but also integrating them into a seamless, high-performance pipeline. Developers must overcome hurdles to deliver a viable experience, such as minimizing conversational latency for instantaneous responses, syncing global and dynamic game states, and preventing NPCs from falling into infinite loops.
With the NVIDIA ACE Game Agent SDK Beta and Unreal Engine 5 plugins, game developers and ISVs can more easily build and deploy highly responsive, on-device AI companions.
What is the NVIDIA ACE Game Agent SDK?
The NVIDIA ACE Game Agent SDK is a lightweight, C/C++ agentic framework designed for seamless, native in-game integration. It is an open source, fully customizable solution optimized for small models and hardware-accelerated on NVIDIA RTX.
Developers interact with the SDK through three core API categories:
- Agent API: A stateful API that owns chat history and autonomously drives multistep, tool-assisted reasoning with minimal application code
- Chat API: A stateless API that gives developers direct control over inference
- RAG API: An API that enables semantic, lexical, and hybrid knowledge retrieval from developer-built databases, grounding model responses in up-to-date knowledge
Together, these tools empower NPCs to dynamically perceive, reason, and act within the game world based on real-time player input. The tools have been used and battle-tested in real games, such as with the experimental in-game AI advisor in *Total War: PHARAOH*. The advisor—rendered as an ancient Egyptian pharaoh—provides contextual advice like recommending court actions and building construction to suppress rebellions, with the playtest program launching in 2026. It uses a retrieval-augmented generation (RAG) architecture that queries 1,200+ interlinked game data tables to answer player strategy questions in real time.
To start building the future of gaming, download the NVIDIA ACE Game Agent SDK in beta.
What’s in the new suite of NVIDIA ACE Unreal Engine 5 plugins?
For Unreal Engine 5 developers and technical artists, a new suite of NVIDIA ACE plugins is now available. These local, runtime AI models support both Blueprint and C++ integration out of the box, covering three pillars:
- Automatic speech recognition (ASR): Includes a ready-to-use English language model, nemo-conformer-ctc-120m, with download options for seven additional languages, a sample level, and Blueprint examples for rapid setup.
- Small language models (SLM): Provides local GGUF support, for low-latency text generation and function calling capabilities, optimized for immediate character dialogue and decision-making, also including a ready-to-use Qwen 3.5 4B model.
- Text-to-speech (TTS): Includes high-quality Chatterbox Turbo 350M TTS model, example voices, a sample level, and dedicated plugin content to bring characters to life instantly.
These plugins enable creators to implement live transcription, dynamic character dialogue, voice commands, and contextual action responses directly within their game logic.
Unlike cloud-based services that suffer from high latency and unpredictable operational costs, these plugins offer local, RTX-optimized workflows bundled with ready-to-use models. They deliver an immediate, end-to-end AI NPC pipeline directly to your Unreal Engine 5 project.
Download the NVIDIA ACE Unreal Engine 5 plugins to get started and join the NVIDIA Developer Discord community for support and discussion.
To learn more, register for Building AI-Powered NPCs in Unreal Engine 5.7, a live Level Up with NVIDIA webinar on June 30. The webinar will provide more details on these plugins and you’ll have the opportunity to ask us questions.
What is the new NVIDIA DLSS 4.5 Unreal Engine plugin?
The new DLSS 4.5 Unreal Engine plugin adds support for DLSS 4.5 Dynamic Multi Frame Generation, Multi Frame Generation 6X Mode, and the second-resolution transformer for Super Resolution.
The plugin provides direct access to the latest DLSS Super Resolution and Frame Generation updates. Built on Streamline, the plugin offers a consistent integration path across DLSS features, allowing developers to selectively adopt capabilities like Ray Reconstruction or Dynamic Multi Frame Generation. Updated APIs, documentation, and sample code help reduce integration time and make it easier to bring DLSS into both new and existing projects.
*Video 1. Learn about the features of DLSS 4.5 Unreal Engine plugin, how to install it, basic scripting, and preference settings*
Learn more at Unreal Fest 2026
Join NVIDIA at Unreal Fest 2026 to learn how NVIDIA ACE and Unreal Engine are redefining the future of interactive character performance.
The June 17 session, Ready, Set, Action: Why Your Next NPC Should Be Their Own Method Actor, walks through a new workflow for building autonomous game characters that separates the *role* of an NPC from its *performer. *Learn how to create deeply reactive, always-in-character AI personalities. Using synthetic training data generated by large teacher models, you can distill character behaviors into lightweight, deployable LoRA-powered performances that run locally on NVIDIA GeForce RTX hardware.
The session features how game developers can easily craft interactive MetaHuman NPCs in Unreal Engine 5.7, powered entirely on-device using NVIDIA ACE:
- ACE UE Speech Plugins: Riva Parakeet ASR for real-time speech recognition, Chatterbox TTS for expressive voice synthesis
- Audio2Face for facial animation and performance delivery
The latest workflow allows NPCs to perform dynamically in-character during gameplay, then break character to collaborate directly with developers by refining motivations, generating backstory material, and helping build future training data.
Full-scale first-person Chalk Warfare game with AI-powered features
The studio behind the Chalk Warfare series boasting 350 million views, SOKRISPYMEDIA, is building a full-scale first-person action game on the franchise, and its standout feature leans on local AI. Players hand-draw their weapon of choice and the game integrates it in seconds, with models trained to handle how each weapon is held, fired, recoils, and reloads.
To train that bespoke matching model without paying for expensive cloud compute, the team ran on a Puget Systems workstation built around dual NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition GPUs. Real-time rendering veterans making the jump from 2D content to a playable medium, on hardware tuned for AI training. To see the game in action at Unreal Fest, visit the Puget Systems booth.
Promptable, controllable human motion now available In Unreal Engine
NVIDIA has released NVIDIA Kimodo, an open source project for promptable, controllable human motion. Describe a motion in plain language (“a person walks forward happily, then jumps in the air”), pin specific bones or full-body keyframes for precise art direction, and generate complex human motion in seconds.
Building on this project, Animotive Kimodo is a plugin that brings Kimodo directly into Unreal Engine, that enables animators to refine, layer, and hand-key AI-generated motion on their own rigs without leaving the editor. AI motion is a starting point rather than locked output that replaces craft.
The Unreal Engine plugin ships today, with Blender and Maya integrations to follow. Available self-hosted or through Animotive Cloud. Future updates will allow AAA studios to securely upload their own animation datasets, training Animotive Kimodo to follow their unique, in-house style. Learn more about the Animotive Kimodo launch.
Get started with NVIDIA ACE and DLSS 4.5 in Unreal Engine 5
At Unreal Fest 2026, NVIDIA is announcing more features to make on-device AI characters and gameplay achievable through NVIDIA ACE—including the ACE Game Agent SDK, new Unreal Engine 5 plugins, and DLSS 4.5.
Mark your calendars to join NVIDIA AI research leaders Sanja Fidler, Ming-Yu Liu, and David Luebke at SIGGRAPH 2026 on July 20 to explore the latest breakthroughs shaping the future of computer graphics and simulation.
Resources for game developers
Check out the full list of game developer resources and stay up to date with the latest NVIDIA game development news:
- Subscribe to our newsletter (select gaming as your industry)
- Follow us on social: X, LinkedIn, Facebook, and YouTube
- Join our Discord community
今日のまとめ
AIデイリーブリーフで今日の重要ニュースをまとめ読み