NVIDIA XR AI を用いた AR グラスおよび XR デバイス向け AI エージェントの構築

ARグラスやウェアラブルデバイス向けに開発を行う開発者たちは、インフラのギャップに直面しています。ハードウェアは既に用意されていますが、AI体験を構築するには、ライブカメラおよびマイクストリームの統合、マルチモーダル AI モデル、エンタープライズデータ、ツール利用機能、デプロイメント基盤、そしてデバイス固有の実行環境を組み込む必要があります。 [NVIDIA XR AI](https://developer.nvidia.com/xr/xr-ai) は、クラウド、データセンター、ワークステーション、またはエッジで動作する GPU 加速型 AI サービスに拡張現実（XR）デバイスを接続するための再利用可能な基盤を提供することで、この課題に対処するために設計されています。 現在ベータ版として一般公開されており、開発者は AIグラス、ARグラス、および XR ヘッドセット向けのインテリジェントエージェントを構築するための [オープンソース](https://github.com/NVIDIA/xr-ai) ライブラリにアクセスできます。これらのインテリジェントな XR エージェントは、ユーザーが見ているものを視認し、話されたまたは入力された意図を理解し、エンタープライズツールを呼び出し、同じ XR セッション内で応答することができます。これらは最前線のチームメンバーが適切な情報を見つけるのを支援したり、作業者の手順をガイドしたり、結果を検証したり、証拠を記録したりできます。 XR AI は、フィールドサービス、リモートアシスタンス、産業運用、ヘルスケア、トレーニング、またはその他の手を使わなければならない環境など、人々が働く場所へ知能をもたらします。 ヘルスケアおよび製造業における NVIDIA パートナーは、このパターンをどのように適用できるかを示す有用な事例を提供しています。スタンフォード大学医学部の Cong ラボとプリンストン大学の Wang ラボの研究者たちは、幹細胞治療研究のための XR（拡張現実）および AI ワークフローを探求しており、複雑な手順に集中しながら文脈情報をアクセスし、ラボシステムと対話できることを支援しています。 製造業では、Siemens が研究コンテキストにおいて、NVIDIA XR AI と NVIDIA DGX Spark が工場エンジニアの保守情報検索、トラブルシューティング、作業検証、および現場での出来事の記録をどのように支援できるかを探索しています。 本稿では、ユースケースに適したインテリジェントな XR エージェント（拡張現実エージェント）を構築するプロセスを追跡します。また、NVIDIA Cosmos を用いたビジュアルグラウンディング、NVIDIA Nemotron モデルによる音声ファーストのインタラクション、Model Context Protocol (MCP) によるエンタープライズ接続性、および NVIDIA NeMo Agent Toolkit などのフレームワークを用いた柔軟なエージェントオーケストレーションを組み合わせる XR AI の仕組みについても探求します。 ## インテリジェントな XR エージェントの構成要素とアーキテクチャ インテリジェント XR エージェントは、ユーザーの XR デバイスからのライブコンテキストから始まります。カメラフレーム、マイク音声、データメッセージが XR Media Hub に流れ込み、そこからユーザーの環境と意図を理解するモデル、ツール、エージェントへルーティングされます。NVIDIA Cosmos モデルはビジュアルグラウンディングを提供し、NVIDIA Nemotron モデルは言語理解、推論、およびツール呼び出しを提供します。また、MCP サーバーはエンタープライズツールやデータソースを公開します。[NVIDIA NeMo Agent Toolkit](https://github.com/NVIDIA/NeMo-Agent-Toolkit) などのエージェントフレームワークは、モデルとツールにわたるワークフローをオーケストレーションでき、アプリケーションが豊かな 3D インタラクションを必要とする場合には NVIDIA CloudXR がレンダリングされた空間コンテンツを追加できます。 XR AI は、メディア転送、モデルサービス、ツールアクセス、エージェントオーケストレーション、クライアント配信を分離することで、このアーキテクチャをモジュール化します。ビデオピクセルは共有メモリ内に留まりながら、軽量なメタデータがシステム内を移動するため、エージェントはタスクが必要とする場合にのみ画像データを取得します。これにより、不要なモデル推論とデータ移動が削減されつつも、開発者はエージェント全体を再構築することなく、クライアント、モデル、MCP サーバー、オーケストレーションフレームワーク、およびデプロイ環境を交換できます。 同じ設計は、マルチユーザーおよびマルチエージェントのシナリオもサポートします。参加者のアイデンティティがルーティングの境界として機能し、複数のクライアントが同じハブに接続でき、複数のエージェントが同じストリームを観察でき、各レスポンスは正しい参加者にルーティングされます。このパターンにより、1 つの基盤で視覚的理解、音声対話、エンタープライズツールの利用、リアルタイム推論、文脈認識 XR レスポンス、および AI グラス、AR グラス、XR ヘッドセット、モバイルデバイス、Web クライアント、CloudXR 対応エクスペリエンスにわたる柔軟なデプロイメントをサポートできます。 ## スタートガイド XR AI は現在、パブリックベータ版として利用可能です。以下のセクションでは、XR AI を使用して動作するインテリジェント XR エージェントを迅速に構築する方法について説明します。具体的には以下が含まれます: - リアルタイムのカメラ、マイク、およびデバイスデータストリーム - リアルタイムのマルチモーダル対話 - Cosmos 搭載の VLM（Vision Language Model: ビジョン言語モデル）による視覚的グラウンディング - 音声認識と Nemotron モデルを活用した音声対話 - MCP（Model Context Protocol: モデルコンテキストプロトコル）を介したエンタープライズ接続性 - 検索可能な視覚的知識のキャプチャおよび取得ワークフロー - NeMo Agent Toolkit またはその他のフレームワークによるオプションのエージェントオーケストレーション - オプションの CloudXR レンダリングされた空間コンテンツ 実装の詳細は業界によって異なりますが、基盤となるアーキテクチャは概ね同じです。 ## パブリックベータ版で最初のインテリジェント XR エージェントを構築する ステップ 1. XR AI リポジトリのクローン GitHub リポジトリには、サンプルエージェント、モデルサーバー起動スクリプト、MCP サーバー、Web クライアント、XR ワークフロー、およびコアメディアインフラストラクチャが含まれています。このシステムを理解する最速の方法は、単純なマルチモーダルエージェントから始め、機能を一つずつ追加していくことです。 bash git clone https://github.com/NVIDIA/xr-ai.git cd xr-ai ステップ 2: AI サービスの起動 より大規模な例では、独立して起動可能な共有 AI サービスを使用します: bash cd agent-samples/model-servers uv sync uv run model_servers これにより、重いデモで使用されるモデルプロセスが開始され、重み付け（weights）がバックグラウンドでロードされた状態になります。 現在のリポジトリにおけるモデルサーバースタックには以下が含まれます: - 音声からテキストへの変換用: nvidia/parakeet-tdt-0.6b-v3 - ビジョン・言語推論用: nvidia/Cosmos-Reason1-7B - 高速でレイテンシに敏感な言語応答用: nvidia/Llama-3.1-Nemotron-Nano-8B-v1 - より深いツール呼び出しワークフロー用: NVIDIA-Nemotron-3-Nano-30B-A3B agent-sdk/xr-ai-models パッケージは、モデル層を柔軟に保ちます。ワーカーは設定を通じて llm、agent_llm、vlm（Vision-Language Model）、stt（Speech-to-Text）、tts（Text-to-Speech）などの論理サービスを参照するため、開発者はエージェントロジックを変更せずにエンドポイントの切り替え、クラウドホスト型モデルの使用、または OpenAI 互換 API の導入が可能になります。 視覚的理解、音声認識、言語推論、および音声応答を駆動するコア AI サービスは既に整備されています。 ステップ 3: センサーファースト XR エージェントの実行 最も単純な動作するエージェントを開始します: bash cd agent-samples/simple-vlm-example uv sync uv run simple_vlm_example サービス起動時、Web クライアントの URL と認証トークンが出力されます。 Web クライアントを開いて接続し、ping のようなプロンプトを送信するか、マイクを通じて質問を投げかけてください。 ワークフローは非常にシンプルです。 - クライアントがカメラ映像、音声、データメッセージをストリーミングします。 - XR AI がメディアを XR Media Hub を経由してルーティングします。 - 音声テキスト変換が行われます。 - Cosmos に基づく VLM パスを使用して最新のカメラフレームが分析されます。 - エージェントが応答を生成します。 - 応答はテキストと合成音声の両方として返されます。 これで動作する知的 XR エージェントが完成しました。ユーザーが見ているものを理解し、視覚的文脈に基づいて推論を行い、同じセッション内でテキストと音声の両方を通じて応答することができます。 エンタープライズシステムや RAG パイプライン、空間レンダリングを追加する前に、これは最も重要な機能である、ユーザー環境に根ざしたリアルタイムマルチモーダル相互作用を検証します。 ステップ 4. MCP を通じてエンタープライズデータに接続 多くのエンタープライズエージェントは、ライブな知覚能力だけでは不十分です。研究者にはプロトコルの手順や実験のメタデータ、データセットへのアクセスが必要になるかもしれません。現場の技術者にはメンテナンス記録が必要です。製造エンジニアには作業指示書、コントローラーの状態、またはデジタルツインの情報が必要となるでしょう。XR AI は、これらのワークフローに対する統合層として Model Context Protocol (MCP) を使用します。 リポジトリには XR 固有の機能に対応した MCP サーバーが含まれています。 - vlm-mcp: ビジュアルクエスチョンアンスワー用 - video-mcp：ビデオ分析およびクエリ用 - render-mcp：シーン操作用 - oxr-mcp：OpenXR 空間情報用 - vec-mcp：ベクトルおよび空間ユーティリティ用 - transcript-mcp：文字起こしの取り込みと検索用 開発者は、エンタープライズシステム、検索拡張生成 (RAG)、データベース、デジタルツイン、資産管理システム、ドメイン固有のワークフロー向けにカスタム MCP サーバーも構築できます。 多くの組織はまた、物理世界からの視覚情報を取得・理解することにも関心を持っています。XR エージェントは手順、検査、保守活動、または研究ワークフローを観察し、NVIDIA Video Search and Summarization (VSS) などの技術を使用して、その情報を後でインデックス付け、要約、および検索できるようにします。時間の経過とともに、これはレポート作成、トレーニング、コンプライアンス、運用レビュー、および検索拡張生成ワークフローを支援できる検索可能な視覚知識ベースを作成します。 ここでエージェントは知覚を超えて、エンタープライズアクションと組織的記憶へと移行し始めます。 ステップ 5. エージェントのオーケストレーションを追加する 以下の例は、NeMo Agent Toolkit MCP クライアントワークフローパターンから適応されたものです。実際には、この設定は NeMo Agent Toolkit ワークフロー定義内に存在し、エージェントが XR AI MCP サーバーによって公開されるツールを検出できるようにします。 function_groups: xr_tools: _type: mcp_client server: transport: streamable-http workflow: _type: react_agent tool_names: - xr_tools 重要なのはフレームワークそのものではなく、XR AI がリアルタイムメディア、多モーダル知覚、エンタープライズ接続のための一貫した基盤を提供し、開発者が環境に最も適したオーケストレーションアプローチを選択できるようにすることです。 より高度なオーケストレーションワークフローに興味を持つ開発者は、MCP 統合、ツール呼び出し、マルチエージェントシステム、RAG ベースのワークフローに関する詳細な例を含む [NeMo Agent Toolkit のドキュメント](https://docs.nvidia.com/nemo/agent-toolkit/latest/) を参照してください。 ステップ 6. CloudXR レンダリングによる空間体験の追加 すべての XR ワークフローでレンダリングされた 3D コンテンツが必要とは限りません。一部のエージェントには、カメラ、マイク、言語機能、およびエンタープライズツールのみが必要です。ワークフローが空間可視化によって恩恵を受ける場合、XR AI はエージェント層を NVIDIA CloudXR と連携させることができます。 bash cd agent-samples/xr-render-demo uv sync uv run xr_render_demo このワークフローは、XR Media Hub、CloudXR ランタイム、モデルサービス、MCP サーバー、およびエージェントワーカーを開始します。 エージェントは MCP を通じてレンダリングツールを呼び出し、ユーザーの空間環境内でオブジェクトを作成、更新、操作することができます。CloudXR は、GPU インフラストラクチャからクライアントデバイスへ結果としての体験をストリーミングします。 デモでは、有用な実運用パターンも示されています。小規模モデルが迅速な応答とステータス更新を処理し、大規模モデルがより深い推論やツール使用を担当します。ユーザーは即座にフィードバックを受け取りながら、より複雑な操作は背景で継続されます。この段階では、XR エージェントは物理環境とレンダリングされた空間コンテンツの両方と対話できます。 これで、ユースケースに合わせてカスタマイズ可能な動作する知的 XR エージェントが完成しました。さらに詳しく知りたい場合や、[より深いパートナーシップ](https://developer.nvidia.com/xr/xr-ai)についてお知りになりたい場合は、お気軽にお問い合わせください。 - コードを入手する。 - NVIDIA XR AI のドキュメントを読む。 - Nemo Agent Toolkit を用いたエージェント構築についてさらに学ぶ。 - CloudXR を使用した空間ストリーミングについてさらに学ぶ。

NVIDIA XR AI を用いた AR グラスおよび XR デバイス向け AI エージェントの構築

背景や根拠まで確認しますか？

調べる

選ぶ

サイト