NVIDIA、既存アプリにRTXセンサーシミュレーション統合

3D、デザイン、シミュレーション、ロボティクス、産業用デジタルツインアプリケーションを開発するエンジニアにとって、既存のツールやサービスに 物理 AI の機能を組み込む方法が求められています。これらのワークフローはすでに、OpenUSD シーン、シミュレーション対応（SimReady）アセット、Blender ベースのワークフロー、CAD パイプライン、あるいはドメイン固有のアプリケーションスタックに依存しているケースがほとんどです。課題は、シーン内の情報を確認したり、センサー出力を生成したり、変更点をテストして信頼できる証拠を返却したりするための呼び出し可能なツールを、アプリケーションや AI エージェントにどう提供するかという点にあります。

NVIDIA Omniverse ライブラリ は NVIDIA Agent Toolkit の一部となり、既存のアプリケーションにこれらの機能を追加するためのモジュール型ビルディングブロックを提供しています。このスタックに含まれる ovrtx は RTX センサーシミュレーションライブラリで、現在は GitHub でプレリリース版として利用可能です。これにより、開発者は OpenUSD コンテンツからカメラ、LiDAR、レーダー、および関連するセンサー出力を生成できる軽量な C および Python SDK を入手できながら、制御権限はホストアプリケーション内に保持したままにできます。

Omniverse ライブラリスタック内では、ovstage が OpenUSD のシーンデータを扱うための共有ランタイムステージを提供します。これにより、ovphysx や ovrtx といったライブラリが、共通のデータ基盤を通じてシミュレーションの状態、シーンの変更、プリムの ID をやり取りできるようになります。

本稿では、Omniverse ライブラリモデルの一環として ovrtx が既存のワークフローにどのように統合されるかを解説します。具体的な手順としては、OpenUSD コンテンツの読み込み、レンダリングとセンサー出力の設定、アプリケーションループからのステップ実行、結果をアプリ側へ読み戻す処理が含まれます。また、PTC Onshape Render Studio の例や SimReady Blender のサンプルワークフローにおいて、同じモデルがどのように適用されるかも紹介します。

NVIDIA Omniverse ライブラリは開発者にどのような恩恵をもたらすか？

シミュレーションとレンダリングは、設計、ロボット工学、自動運転車 (AVs)、産業用デジタルツイン、物理 AI など、幅広いワークフローにおいてアプリケーション層の一部となりつつあります。

開発者やチームは、使用するツール内で OpenUSD シーンを可視化し、物理的に根拠のあるデータを生成し、知覚システムをテストし、動作を検証し、結果を確認する必要があります。

これを実現するための環境には、CAD システム、Blender ベースのワークフロー、PLM や PDM のワークフロー、OpenUSD アセットパイプライン、社内シミュレーションスタック、そしてドメイン固有のアプリケーションなどが含まれます。

前回の投稿「NVIDIA Omniverse ライブラリを使用して既存のアプリに物理 AI 機能を統合する」では、既存のアプリケーションスタックへ Omniverse の機能を追加するための「ライブラリファースト」のアプローチを紹介しました。このアプローチでは、スタンドアロンのライブラリがセンサーや物理演算、ストレージ機能に特化した API を通じて公開されるため、チームはこれらの機能が自社のツールやサービス内でどこで実行されるかをより細かく制御できるようになります。

ovrtx は、このアプローチを特に Omniverse RTX のセンサーシミュレーションと可視化に応用したものです。SIGGRAPH 2026 で発表された通り、NVIDIA Agent Toolkit は Omniverse ライブラリを含むようになり、ovrtx が RTX センサーシミュレーションのレイヤーとして機能します。これにより、アプリケーションやエージェントは OpenUSD シーンからカメラ、LiDAR、レーダー、セマンティックセグメンテーション、視覚的な事前チェック出力を生成できるようになります。他の Omniverse ライブラリと併用することで、シミュレーション対応の 3D コンテンツの準備と検証を行うツール駆動型ワークフローの一部となります。

図 1. OpenUSD シーンデータを用いた既存アプリケーションのワークフローと、ovrtx を活用して RTX レンダリングされたカメラおよびセンサー出力を生成する様子

センサーシミュレーションを既存のワークフローに組み込む必要がある場合、そのアプリケーション制御が重要になります。物理 AI チームにとって、これらの出力は合成データ生成（SDG）、知覚テスト、ロボットワークフロー、シミュレーション対応のデジタルツイン、設計レビューなどを支えるものとなります。

ovrtx が GitHub でプレリリース版として利用可能になった今、C および Python API を確認したり、サンプルを実行したり、OpenUSD シーンの読み込みをテストしたり、RTX センサー出力が自身のアプリケーションループにどのように適合するかを評価することが可能です。

既存ワークフローへの ovrtx の統合方法

ovrtx の核心となる原理はシンプルです。開発者として、アプリケーションのアーキテクチャ、UI、データモデル、およびワークフローを維持したまま、NVIDIA Omniverse RTX センサーシミュレーションを独自のアプリケーションに組み込むことができます。軽量な C および Python SDK は、リアルタイム 3D ビューポート、RTX レンダリング、またはカメラ、LiDAR、レーダー、超音波センサーおよび関連出力のシミュレーションが必要なプロジェクト向けに設計されています。

典型的な統合は以下の 5 つの手順に従います：

• ovrtx レンダラーを作成して設定する。

• アプリケーションの既存パイプラインから OpenUSD コンテンツを読み込むか参照する。

• ワークフローで必要なカメラ、LiDAR、レーダー、セマンティックセグメンテーション、またはレンダリング出力に対応する RenderProducts と RenderVars を定義する。

• アプリケーションループからレンダリングまたはセンサーシミュレーションを実行する。

取得した結果を CPU または GPU メモリにマッピングし、アプリケーションで表示、保存、分析、あるいは他のプロセスへ渡せるようにします。

以下にホストアプリケーションがワークフロー全体を管理する疑似コードの例を示します。

renderer = ovrtx.Renderer()

renderer.open_usd(app_scene_or_usd_layer)

render_products = {"/Render/Camera"}

while app.is_running():
``` （原文の技術表記: ` `、`renderer.open_usd(app_scene_or_usd_layer)`、` `、`while`、`app.is_running():`）

```python
app.update_scene_state()

products = renderer.step(
    render_products=render_products,
    delta_time=app.frame_delta_seconds,
)
``` （原文の技術表記: ` `）

```python
for product in products.values():

    for frame in product.frames:
``` （原文の技術表記: ` `、` `、` `、` `）

```python
            color = frame.render_vars["LdrColor"].map(device=ovrtx.Device.CPU)
            app.use_render_output(color)

制御はホストアプリケーション側に残されます。ループを管理するのはアプリ側であり、ovrtx が要求されたレンダリングやセンサー出力を生成し、その結果は表示、保存、分析、あるいは下流の処理のためにワークフローに返されます。

ovrtx 統合フローにおける主要コンポーネント

ホストアプリケーションが ovrtx を呼び出す際、主に以下の構成要素を使用します。Omniverse RTX レンダラー、OpenUSD ステージ、そして生成する出力を定義する RenderProducts と RenderVars です。

Omniverse RTX レンダラー

「Omniverse RTX レンダラー」は、ovrtx ライブラリによって公開される中核技術です。NVIDIA RTX の特性を活かし、RTX GPU に搭載されたオンチップの RT コアと、Tensor Core による AI アクセラレーションを組み合わせます。これにより、3D 環境における光伝搬のリアルタイムかつ物理ベースのレンダリングやシミュレーションが可能になります。柔軟な物理ベースの照明やマテリアルを活用することで、カメラ、LiDAR、レーダー、および関連するセンサー出力をモデル化できます。

ovstage

ovstage は、Omniverse ライブラリ間で共有されるランタイムステージです。CPU と GPU メモリ間でのトランスフォーム、マテリアル、階層構造、メタデータ、シミュレーション状態といった OpenUSD シーンデータの読み書き、照会、管理を行うための C および Python API を提供します。複数のライブラリを連携させるワークフローでは、ovstage を介して ovphysx が更新されたシミュレーション状態を書き込み、ovrtx が変更されたシーンデータを読み込んでセンサーシミュレーションを実行できます。これにより、各ライブラリが個別にシーン表現を維持する必要がなくなります。

OpenUSD

NVIDIA は、Omniverse およびシミュレーションワークフローの基盤となるデータレイヤーとして OpenUSD を採用しています。OpenUSD は 3D シーンの標準的なデータ表現を定義し、C++ と Python の API を提供してこれらのシーンの読み書きを可能にします。OpenUSD 内のデータは ovrtx がレンダリングできるシーングラフとして整理されます。USD ステージでは、複雑なジオメトリ、光度測定ライト、OpenPBR マテリアル、カメラ、その他のセンサーの定義と管理が行えます。

RenderProducts and RenderVars

RenderProducts と RenderVars は、レンダラーやセンサーシミュレーターから取得する出力を定義するための USD ネイティブな方法を提供します。これらを用いることで、出力タイプ、解像度、フォーマット、その他のパラメータを柔軟に指定することが可能です。

RenderProduct は 1 つ以上のセンサーと関連付けられ、ovrtx はそれに関連付けられた RenderVars で定義された出力を生成します。RenderProducts と RenderVars は、プログラムで定義して USD シーンに保存することもできますし、ovrtx の C または Python API を使用してランタイム時に定義することも可能です。

アプリケーションフロー

ovrtx を、アプリが必要に応じて OpenUSD シーンの可視化やレンダリング・センサー出力の生成を依頼するオンデマンドサービスと捉えてください。レンダラーの作成、OpenUSD コンテンツの読み込み、RenderProducts と RenderVars の設定といった初期ステップは、通常 1 回だけ、あるいは稀にしか実行されません。一方、レンダリングやセンサーシミュレーションの進行、出力の取得といった最終ステップは、アプリケーションループ内で頻繁に実行されます。

ovrtx レンダラーの作成と設定

Python、C、C++ のいずれで書かれた既存のアプリでも、まずはレンダラーインスタンスを作成し、必要な基本オプションを設定することから始めます。

• ovrtx を初期化し、レンダラーオブジェクトを構築します。この際、対象となる GPU とグローバル設定オプションを指定してください。

複数のビューやセンサーがある場合でも、それらを統括するレンダラーインスタンスは 1 つだけで構いません。複数の RenderProduct は後から追加されます。

renderer = ovrtx.Renderer()

OpenUSD コンテンツの読み込みまたは参照

次に、レンダラーには描画する USD ステージを指定する必要があります。

open_usd で OpenUSD ファイルや URL を指し示すか、open_usd_from_string で文字列から直接 USDA を読み込むか、あるいは add_usd_reference で追加の参照コンテンツを合成します。

もしアプリに既に Omniverse や USD のパイプラインが存在する場合は、ovrtx がその OpenUSD コンテンツを直接読み取れるため、別の形式でシーンを再構築する必要はありません。

renderer.open_usd("warehouse_scene.usd")

レンダリングとセンサー出力の構成

レンダラーとステージが設定されれば、アプリは必要な出力を指定します。

RenderProducts を定義する

• 例として、ロボット上の RGB カメラ、監視用の上空カメラ、車両上の回転式 LiDAR センサーなどが挙げられます。
• 各 RenderProduct は、USD ステージ内のカメラまたはセンサーの prim パスと解像度に紐付けられます。

RenderVars をアタッチする。各 RenderProduct に対して、ovrtx が生成すべき出力を指定します。例としては以下があります：

• カラー（LdrColor や HdrColor など）
• 深度または距離
• サフェースノーマル
• セマンティックセグメンテーション
• LiDAR ポイントクラウド
• レーダー検出結果
• その他のセンサー固有のテンソル

アプリケーションループからレンダリングやセンサーシミュレーションを実行

アプリはメインループ内で ovrtx を呼び出します。このループには、すでに物理演算、アニメーション、ユーザー入力、ネットワーク通信、その他のシミュレーション状態の管理が含まれている場合があります。

アプリが OpenUSD ステージの更新を終えた後、時間刻みを渡すことでレンダリングやセンサーシミュレーションを進行させます。これにより ovrtx は、設定された RenderProducts と RenderVars に対して要求された出力を生成します。

アプリケーションへの出力返却

生成された各フレームについて、アプリは CPU または GPU メモリ上のテンソルとして必要な出力を読み込み、必要に応じてアプリケーションロジックの他の部分で利用します。

データに対する GPU と CPU の両方のビューを取得する方法:

• ovrtx は各 RenderVar をテンソルハンドルとして公開しています。DLPack、NumPy、または PyTorch のユーティリティを使用してこれをラップしてください。

• モデルへの入力など GPU 上で処理を継続したい場合は、バッファをデバイス上に保持したまま、コピーなしで直接 PyTorch や Warp に渡すことができます。

画像や点群データを保存する場合は、これらの出力を CPU メモリ上で要求し、PNG や NumPy 配列などをファイルに書き出すための別のロジックを用意してください。

op = renderer.step_async(

render_products= {"/Render/Camera"},

delta_time= 1.0 / 60,

)

pending = op.wait()

products = pending.fetch()

for _name, product in products.items():
    for frame in product.frames:
``` （原文の技術表記: ` `、`for`、` `、` `、` `）

```var = frame.render_vars["LdrColor"].map(

            device=ovrtx.Device.CPU

        )

## ovrtx を他の Omniverse ライブラリと併用するタイミング

ovrtx は、ホストアプリケーションの要件に応じて単独で使用することも、他の NVIDIA Omniverse ライブラリと併用することも可能です。ビューポート出力や可視化が必要ない場合、あるいは RTX センサーシミュレーションが必要な場合は ovrtx から始めましょう。一方、物理演算、ストリーミング、ストレージ、または別のアプリケーションサービスがワークフローに含まれる場合は、他のライブラリを追加します。

表 1：アプリケーションの機能要件に応じて、ovrtx を他の Omniverse ライブラリと連携させる一般的な方法

ホストアプリケーションに必要な機能を判断する際の指針としてこの表を活用してください。OpenUSD コンテンツからレンダリングされたフレーム、ビューポート出力、またはシミュレートされたセンサー出力を必要とするワークフローであれば、まずは ovrtx から開始します。物理挙動、インタラクティブなストリーミング、あるいは OpenUSD コンテンツの管理が同じワークフローで必要な場合にのみ、ovphysx、ovstream、ovstorage を追加してください。以下の例では、最小限の ovrtx レンダリングからインタラクティブな表示、複数ライブラリを扱うワークフローに至るまで、これらの選択が実際の統合パターンにどう対応するかを示します。

実践における ovrtx の統合事例

直接 SDK のサンプル、セットアップガイド、API に特化したスキルを確認するには、NVIDIA-Omniverse/ovrtx の GitHub リポジトリを参照してください。エージェントのガイダンスについては NVIDIA Agent Skills を参考にしてください。Omniverse ライブラリが初期ワークフローでどのように連携するかを確認するには、実験的なサンプルや統合の実験、参考パターン、および NVIDIA Omniverse チームによる概念実証アプリを含む NVIDIA-Omniverse/omniverse-labs の GitHub リポジトリを探索してください。

例：最小限の「Hello World」

ovrtx リポジトリにある 最小限の ovrtx サンプル から始めましょう。この「Hello World」サンプルは、インタラクションやセンサー出力、あるいは大規模なアプリケーションシェルを追加する前に、直接 SDK パスが正しく動作するかを確認するための基本的なテストです。

*ビデオ 1. Python、C、および C++ アプリケーションを Omniverse RTX レンダリングプロセスに接続し、ロボット工学や合成データワークフロー向けのセンサー出力を生成する方法を学びます*

このサンプルでは、レンダラーの作成、OpenUSD シーンの読み込み、単一画像のレンダリング、そしてその結果を CPU にコピーして PNG として保存する手順を示しています。--png フラグを指定すると、出力は _output/render.png に書き出され、任意の画像ビューアで確認できます。フラグを指定しない場合は、レンダリングされた画像がデフォルトの画像ビューアに直接表示されます。

用途: 完全な Omniverse Kit アプリを構築することなく、既存のアプリケーションに RTX センサーシミュレーション機能を追加したい場合。

サンプル：インタラクティブな USD ビューアの構築

OpenUSD コンテンツを中心にビューアアプリケーションを構築する際、特に GPU ベースのレンダラーへのブラウザ経由でのアクセスが必要なワークフローでは、Omniverse Realtime Viewer スキル を活用できます。ここでは ovrtx がレンダリング層として機能し、ビューア側がシーン読み込み、カメラ操作、オブジェクト選択、レンダリング設定、UI 実装、そしてローカルデスクトップまたはブラウザ経由での配信といったアプリケーション全体の骨格を担当します。

より低レベルな C++ ビューポートへの統合が必要な場合は、vulkan-interop のサンプル を参照してください。ここでは Vulkan と CUDA を用いて ovrtx の出力をリアルタイムビューポートに表示する方法が解説されています。

*動画 2: 単一の自然言語プロンプトで、サーバー、フロントエンド、スクリプト、アセット、USD シーンファイル、RenderVar 出力、そして ovrtx/ovstream バックエンドを含む動作するビューアアプリの骨組みを構築する方法を学びます*

ブラウザ経由でのワークフローでは、ovrtx レンダラーと OpenUSD ステージへのアクセス権限をサーバーが管理し、レンダリングされたフレームを ovstream を通じてブラウザ上の UI に転送します。実際に手を動かして試したい場合は、Brev の起動可能な環境 を利用して、ovrtx と ovstream ライブラリで構築されたリアルタイムビューアアプリケーションをデプロイし、テストしてください。

詳細は、NVIDIA-Omniverse/omniverse-labs の GitHub リポジトリにある エージェント支援統合ウォークスルー をご覧ください。

こんな時に活用: NVIDIA Omniverse ライブラリと AI コーディングエージェントを活用し、RTX レンダリングによるストリーミング USD ビューアーや、ブラウザベースのカメラ操作、GPU 対応のデプロイパスを構築する際に最適です。

ovphysx を使った物理演算の追加例

シーン表示の後、次によくあるのは重力、衝突、摩擦、その他のシミュレーション挙動を加えて物理的に振る舞わせることです。そこで登場するのが ovphysx です。ovrtx と同様に、ovphysx もアプリケーションワークフローから呼び出すことができ、アプリ側で挙動をシミュレートし、その結果をリアルタイムのビューポートで可視化できます。

*動画 3: NVIDIA Omniverse ライブラリ（ovrtx、ovphysx、ovstorage など）や MCP ベースのエージェントワークフローを活用して、既存アプリケーションに物理 AI 機能を追加する方法を解説します*

Omniverse-Labs の ovrtx と ovphysx を組み合わせたサンプル では、この統合ワークフローが実際にどのように動作するかを示しています。このサンプルは 2 プロセス構成を採用しており、ビューアープロセスは ovrtx が担当し、別の ovphysx ワーカーがポーズデータをアプリケーションループへストリーミングします。

こんな時に活用: レンダリング済みまたはセンサー認識対応の OpenUSD ワークフローに物理シミュレーションを追加する際に適しています。

SimReady Blender サンプルワークフロー

SIGGRAPH 2026 で展示された SimReady Blender のサンプルワークフローでは、ソフトウェア開発者が NVIDIA Agent Toolkit に統合された Omniverse ライブラリを活用し、クリエイターが制御権を維持したまま既存の 3D アプリケーションにエージェント対応のシミュレーション機能（NVIDIA RTX センサーシミュレーション、物理演算、検証など）を追加する方法を示しています。この仕組みは現在、Omniverse ライブラリを Blender に統合するためのオープンなブループリントとして公開されています。

*Video 4. Omniverse ライブラリを活用して既存の 3D アプリケーションにエージェント対応シミュレーションを導入する様子について詳しくはこちら*

用途: Omniverse ライブラリが、クリエイターや開発者の制御権を維持しつつ、ソフトウェアメーカーがいかにして既存の 3D アプリケーションへエージェント対応シミュレーション機能を追加できるかを理解するために活用できます。

この種のエージェントワークフローをローカル環境で実行したいデザイナーやエンジニアは、NVIDIA DGX Station を用いた NVIDIA NemoClaw 上でデプロイ可能です。NemoClaw は、オープンフロンティアモデルの Nemotron 3 Ultra、安全なエージェントランタイム、そして Omniverse ライブラリをパッケージ化し、Blender やシミュレーションツールにアクセスできるパーソナル AI ワークステーションとして機能する完全なローカルスタックを提供します。

クラウドネイティブな設計ワークフローへの ovrtx 統合方法

PTC の Onshape Render Studio チームは、ovrtx がクラウドネイティブな CAD および PDM ワークフローにどう組み込めるかを模索しています。これらのワークフローでは、製品データやコラボレーションツール、レンダリング要件、そして確立されたユーザー体験がすでに統合されています。つまり、既存のアプリケーションワークフローに NVIDIA Omniverse RTX レンダリングを取り入れつつも、アーキテクチャ、データモデル、ユーザーが依存する製品体験を維持したまま導入できることを示すための有用な検証ポイントとなるのです。

図 2. PTC TypeScript RTX Workbench は、NVIDIA Omniverse RTX を活用して Onshape の設計コンテンツをレンダリングします。これにより、ovrtx がアプリケーション制御型のパス追跡可視化機能をクラウドネイティブな設計ワークフローに持ち込むことが可能であることが示されています。

今回の初期段階の研究では、Onshape のコンテンツを用いて、ovrtx がより複雑な製品設計ジオメトリに対応するクラウドネイティブなレンダリングワークフローをどう支えられるかを検証しています。ovrtx を既存システムへ統合できるため、チームはレンダリングを別環境として扱うのではなく、すでに利用しているサービスやアプリケーションレイヤーにどのように適合するかを実際に評価できます。

PTC Onshape Render Studio チームにとって、ovrtx は以下の 3 つの実践的な統合ニーズに対応する助けとなります：

アプリケーション制御型レンダリング：ホストアプリケーションがレンダリングのタイミング、出力設定、および結果をワークフローに返す方法を完全に制御します。

クラウドネイティブ統合：レンダリング機能は、チームがすでに使用しているアプリケーション層やサービス層を通じて公開できます。これにはクラウドネイティブなサービスのワークフローも含まれます。

OpenUSD ベースのシーン交換：ovrtx は OpenUSD のシーンデータからレンダリングを行うため、製品設計の幾何形状、可視化、そして下流のシミュレーションワークフローを接続する実用的な手段を提供します。

アプリケーションチームにとって重要なのは、ovrtx を活用することで RTX センサーシミュレーションと可視化を、すでに所有しているワークフローに組み込める点です。PTC の事例は、クラウドネイティブな設計システム内で、レンダリングが製品データや共同作業のワークフロー、そしてアプリケーション体験と密接に連携する必要がある環境において、低レベル API が生産指向の探索をどのように支えるかを示しています。

PTC Onshape のソフトウェア開発シニアディレクターである Brendan Hack 氏は、「ovrtx は、アプリケーションアーキテクチャと製品体験を自社の管理下に保ちながら、NVIDIA RTX をクラウドネイティブ設計ツールに組み込むための低レベルな API パスを提供します」と述べています。

NVIDIA ovrtx の利用開始

NVIDIA Omniverse のライブラリは、既存のアプリケーションスタックに RTX センシミュレーション、物理演算、ストレージ機能、および関連する物理 AI 機能を統合するためのモジュール型ビルディングブロックを提供します。ovrtx を利用すれば、OpenUSD ベースのワークフローにカメラ、LiDAR、レーダー、セマンティックセグメンテーション、視覚的プレフライト出力を追加できます。

設計、シミュレーション、ロボティクス、産業用デジタルツイン、合成データ生成、物理 AI アプリケーションを開発するチームにとって、ovrtx は、すでに所有しているツールやパイプライン、アプリケーションループ内で RTX センシミュレーションを評価するための実用的な道筋となります。

さっそく始めましょうか？

• Omniverse ライブラリを探る: NVIDIA-Omniverse GitHub リポジトリにアクセスし、エージェントや開発者が既存のアプリケーションに RTX センシミュレーション、物理演算、OpenUSD ワークフロー、ストレージ、検証機能を追加するためのツールやスキルを見つけましょう。

• サンプルを実行する: Omniverse Labs で、Omniverse ライブラリがどのように連携するかを示す初期の実験用サンプルや概念実証プロジェクトを確認してください。

• NVIDIA 物理 AI エージェントスキルを活用する: agent skills を使用して、反復的なセットアップ、シミュレーション、評価タスクを、AI コーディングエージェントで確認・適応・実行できるワークフローに変換します。

• DGX Station でローカル実行: NemoClaw on DGX Station をわずか 3 ステップ、30 分未満でデプロイできます。