NVIDIA、DeepStream 9.1 でビジョン AI にエージェント機能追加
NVIDIA は DeepStream 9.1 をリリースし、マルチビュー 3D 追跡と自動キャリブレーション機能を「アジェンティック AI」スキルとして実装することで、複数カメラ間での物体追跡の複雑な手動設定を解消した。
キーポイント
アジェンティック AI スキルの追加
DeepStream 9.1 は、コーディングエージェント向けに 13 の新しいスキルを提供し、開発者が概念から実行可能なパイプラインへ迅速に移行できるようにする。
マルチビュー 3D 追跡 (MV3DT) の実装
複数のカメラからの検出結果を共通の 3D 座標系に投影し、MQTT を介してトラジェクトリを関連付けることで、一貫したグローバル ID を付与する機能を搭載した。
自動キャリブレーション (AMC) の導入
既存の映像やストリームから追跡対象を分析することでカメラの内部パラメータを推定し、チェッカーボード使用やダウンタイムを伴う手動キャリブレーションを不要にする。
JetPack 7.2 およびオープンソース化
Jetson Orin や Thor エッジデバイスへの JetPack 7.2 サポートに加え、ライブラリが CC-BY-4.0 と Apache-2.0 のデュアルライセンスで GitHub で一元管理されるようになった。
自動カメラキャリブレーション (AMC) の導入
従来の手動チェックボード作業に代わり、既存の映像から追跡対象を分析してカメラの内部・外部パラメータを自動的に推定するマイクロサービス「AMC」が実装されました。
自然言語によるアジェンティックスキル実行
設定ファイルの編集不要で、Claude Code や Codex などのエージェントに自然言語プロンプトを送るだけで MV3DT の構築から Kafka/Mosquitto のセットアップまで自動化されます。
DeepStream 9.1 の主要機能強化
アジェンティックスキルが 2 つから 13 に増加し、マルチカメラ 3D 追跡と自動キャリブレーションが標準化され、JetPack 7.2 への対応や統一された GitHub リポジトリ配布へ移行しました。
重要な引用
DeepStream is NVIDIA's streaming analytics toolkit for AI-based video and image understanding.
MV3DT projects detections from multiple calibrated cameras into a shared 3D coordinate system.
AMC calibrates a network by analyzing tracked objects in existing video files or streams.
"Rather than editing configuration files, you describe intent in natural language."
"Notably, if calibration files are missing, it triggers the AMC skills automatically."
DeepStream 9.1 ships 13 agentic skills, letting coding agents build multi-camera vision pipelines from natural-language prompts.
影響分析・編集コメントを表示
影響分析
このリリースは、従来の複雑で時間のかかる多カメラシステム構築のボトルネックを解消し、スマートシティや物流監視などの大規模ビジョン AI アプリケーションの実装コストと時間を大幅に削減する。特に「アジェンティック AI」への対応により、開発者が低レベルの設定作業から解放され、より高度なロジック設計に集中できる環境を提供することで、業界全体の導入スピードを加速させる。
編集コメント
DeepStream の進化は、単なる機能追加にとどまらず、多カメラ環境での AI 実装における最大の障壁であった「キャリブレーション」という物理的・時間的コストを、ソフトウェアと AI で解決しようとする重要な転換点です。アジェンティック AI という文脈でツールが提供されることで、開発者のワークフロー自体が再定義されつつあると言えます。
NVIDIA が DeepStream 9.1 をリリースしました。このアップデートは、動画解析における長年の課題に焦点を当てています。従来、複数のカメラ間で一つのオブジェクトを追跡するには、手動でのカメラキャリブレーションと複雑な計算が必要でした。DeepStream 9.1 はこれに対し、「Multi-View 3D Tracking（MV3DT）」と「AutoMagicCalib（AMC）」の 2 つの新機能を追加することで解決を図ります。これらはどちらもコーディングエージェント向けの「アジェンティックスキル」として提供されており、開発者が概念から実行可能なパイプラインへと移行するスピードを劇的に向上させます。
DeepStream 9.1 とは何か
このアップデートを理解するには、まず基盤となるプラットフォームを確認する必要があります。DeepStream は、AI を活用した動画や画像の理解を実現するための NVIDIA のストリーミング解析ツールキットです。NVIDIA GPU 上でマルチストリームかつマルチモデル推論を行うための GStreamer ベースのフレームワークを提供しています。パイプラインには、ハードウェアアクセラレーションによるデコード・エンコード、TensorRT 推論、オブジェクト追跡、そしてメッセージブローカーとの連携が含まれています。
この基盤の上に、バージョン 9.1 では以下の 5 つの注目すべき機能が追加されました：
- コーディングエージェント向けの 13 のアジェンティックスキル
- カメラ間での追跡を可能にする MV3DT スキル
- 自動キャリブレーションを実現する AMC スキル
- Jetson Orin や Thor エッジデバイスに対応した NVIDIA JetPack 7.2 サポート
- CC-BY-4.0 および Apache-2.0 ライセンスの下、統合されたオープンソース GitHub リポジトリの公開
MV3DT はどのようにしてカメラ間での追跡を実現するのか
これらの新機能の中でも、MV3DT（マルチビュー 3D トラッキング）は中核となるスキルです。その仕組みを理解しておきましょう。
MV3DT の核心は、複数のキャリブレーション済みカメラからの検出結果を、共通の 3D 座標系に投影することにあります。その後、異なる視点から捉えられた同一オブジェクトの観測データを関連付け、最終的に一貫性のあるグローバルなオブジェクト ID を割り当てます。
具体的なデータフローは、以下の 4 つの段階で構成されています。
まず検出フェーズでは、各カメラストリームが個別にオブジェクト検出器を実行します。MV3DT では、以下の 3 つのモデルを標準でサポートしています：
- PeopleNetTransformer: トランスフォーマーベースの人検出器で、歩行者シーンにおけるデフォルト設定です。
- PeopleNet v2.6.3: DetectNet_v2 アーキテクチャに基づく高効率な検出器です。
- RT-DETR 2D: 歩行者、トランスポーター、フォークリフトなどを対象としたマルチクラス検出器です。
次に単眼 3D 知覚フェーズでは、各カメラが YAML 形式のキャリブレーションファイルに保存された 3×4 の射影行列を使用します。これにより、地面を基準とする仮定に基づいて、2D バウンディングボックスを 3D ワールド空間座標へ逆投影します。
続いてマルチビュー関連付けフェーズでは、トラッカーは Message Queuing Telemetry Transport（MQTT）を使用してトラックレットを共有します。MQTT は軽量なパブリッシュ/サブスクライブ型のメッセージングプロトコルです。2 つのカメラが同一人物を検知した場合、3D ワールド空間内での近接度に基づいてトラックレットをマッチングさせます。
関連付けが完了すると、結果は以下の 3 つの形式でストリーミングされます。
- On-Screen Display（OSD）: 2D および 3D バウンディングボックスを含むタイル状グリッドを表示します。
- Bird's-Eye View（BEV）: 上空からの視点による軌跡マップをレンダリングします。
- Kafka メッセージング：センサー ID、オブジェクト ID、3D バウンディングボックスなどのフレームごとの protobuf メタデータを配信します。
手動設定を不要にする AutoMagicCalib
MV3DT はキャリブレーション済みのカメラに依存しますが、従来はチェッカーボードの設置や稼働停止が必要でした。これに対し、AMC（AutoMagicCalib）は既存の動画ファイルやストリーム内の追跡対象を分析することでネットワークを自動キャリブレーションします。各カメラの内部パラメータ（焦点距離、主点、レンズ歪み）と外部パラメータ（回転、並進、世界座標上の位置）を推定するのです。
仕組みの詳細を見ると、このパイプラインは 5 つの段階で構成されています。具体的には「カメラごとの軌道抽出」「単一視点での補正」「複数視点間のトラックレットマッチング」「バンドル調整」、そして状況に応じて行われる VGGT（Visual Geometry Grounded Transformer）による微調整です。対象物の動きが限定的な場合でも、VGGT が精度を補完します。AMC は REST API と Web インターフェースを持つマイクロサービスとして動作し、ユーザーはレイアウト画像と数点の対応点を指定するだけで済みます。
エージェント型スキルのワークフロー
MV3DT と AMC の定義が整った今、実装の鍵となるのは「スキル」そのものです。設定ファイルを手動で編集するのではなく、自然言語で意図を記述するだけで動作します。これらのスキルは Claude Code、Codex、Cursor などのエージェントと連携して機能し、セットアップも非常に短時間で完了します。
Copy CodeCopiedUse a different Browser
git clone https://github.com/NVIDIA/DeepStream.git
cd DeepStream
Copy skills into your agent's skill directory (Codex shown)
mkdir -p ~/.codex/skills
cp -r skills/* ~/.codex/skills/
エージェントを起動すれば、単一のプロンプトで参照アプリケーションが実行されます。
Copy CodeCopiedUse a different Browser
deploy mv3dt on the 12-camera sample dataset
MV3DT スキルは、ここで前提条件の検証を行い、コンテナをプルして Kafka と Mosquitto ブローカーサービスをインストールします。さらにモデル重みのダウンロードやパイプライン設定の生成、そして追跡処理の起動も実行します。特筆すべき点として、キャリブレーションファイルが存在しない場合、自動的に AMC スキルがトリガーされる仕組みになっています。
DeepStream 9.0 と 9.1 の比較
背景を整理するために、以下の表に各バージョン間の主な変更点をまとめました。
| 機能 | DeepStream 9.0 | DeepStream 9.1 |
|---|---|---|
| エージェント型スキル | 2 つ (deepstream-dev, import-vision-model) | 13 のエージェント型スキル |
| マルチカメラ 3D 追跡 | スキルとして未実装 | MV3DT スキルとリファレンスアプリを提供 |
| カメラキャリブレーション | 手動設定 | AutoMagicCalib (AMC) マイクロサービスによる自動処理 |
| Jetson サポート | JetPack 7.1 GA | JetPack 7.2 (Orin, Thor 対応) |
| サンプルデータセット | なし | 4 カメラおよび 12 カメラの MV3DT セット |
| デリバリ方法 | NGC パッケージと GitHub ソースコード | 統合された GitHub モノレポ |
具体的なユースケースと事例
これらの機能を活用することで、以下のような具体的な導入が可能になります。
- 倉庫の安全性向上: RT-DETR 2D を使用し、フォークリフト付近で作業員を追跡。通路をまたいでも ID は統一されます。
- 小売分析: カメラのゾーン間を移動する顧客を追跡し、再識別エラーなく滞在時間を計測します。
- スマートビルディング監視: 各階の人数をカウントし、そのメタデータを Kafka を経由してダッシュボードへ送信します。
- ロボティクスとスマートシティ: ナビゲーションやインシデントレビューのために、一貫した世界座標系を共有できます。
インタラクティブな解説
仕組みを確認するために、以下の埋め込みデモでは、3 つのカメラ視野の間を歩く 1 人の人物をアニメーション化しています。単純な個別カメラごとの 2D 追跡と、MV3DT（Multi-View 3D Tracking）による 3D 融合を切り替えて、オブジェクト ID が一貫して維持される様子をご覧ください。
(function(){
window.addEventListener('message',function(e){
if(e.data && e.data.mv3dtHeight){
var f=document.querySelector('#mtp-mv3dt-embed iframe');
if(f){ f.style.height = e.data.mv3dtHeight + 'px'; }
}
});
})();
主なポイント
DeepStream 9.1 では、13 のエージェント機能（アジェンシー・スキル）が搭載されました。これにより、コーディングエージェントは自然言語のプロンプトだけで、マルチカメラのビジョンパイプラインを構築できるようになります。
MV3DT は、各カメラで検出されたデータを統合して 1 つの共有 3D ワールドを形成します。これによって、異なる視点間でも一貫したグローバルなオブジェクト ID を維持することが可能になりました。
AutoMagicCalib では、従来のチェッカーボードを使った手動キャリブレーションに代わり、既存の映像データからカメラの内部パラメータ（イントリック）と外部パラメータ（エクストリック）を推定して自動補正を行います。
JetPack 7.2 のサポートにより、Jetson Orin や Thor への展開が可能になりました。これらはすべて、統一されたオープンソースの GitHub モノレポ内で管理されています。
出力は OSD（画面表示）、Bird's-Eye View（上空視点）、Kafka プロトobuf メタデータとしてストリーミングされ、 downstream の分析やダッシュボードでの利用がすぐに始められます。
リポジトリはこちらで確認できます。また、Twitter でフォローしたり、15 万人以上の ML 専門家が参加する SubReddit に加入したり、ニュースレターを購読することもぜひご検討ください。あ、Telegram も使っていますか？今なら Telegram でも私たちに参加できるようになりました。
GitHub リポジトリや Hugging Face ページ、製品リリース、ウェビナーなどのプロモーションをご希望の場合は、パートナーシップについてお問い合わせください。
NVIDIA が DeepStream 9.1 をリリースし、ビジョン AI にアジェンシー AI を導入。13 のスキルとマルチビュー 3D トラッキングが実現
本記事は MarkTechPost で公開された「NVIDIA Released DeepStream 9.1: Bringing Agentic AI to Vision AI With 13 Skills and Multi-View 3D Tracking」の続編（6/6）です。
原文を表示
NVIDIA just released DeepStream 9.1. The update targets a persistent problem in video analytics. Tracking one object across many cameras traditionally requires manual camera calibration and complicated calculations. DeepStream 9.1 addresses this with two additions: Multi-View 3D Tracking (MV3DT) and AutoMagicCalib (AMC). Both ship as agentic skills for coding agents. As a result, developers move from concept to a running pipeline faster.
What is DeepStream 9.1
To understand the update, start with the base platform. DeepStream is NVIDIA’s streaming analytics toolkit for AI-based video and image understanding. It provides a GStreamer-based framework for multi-stream, multi-model inference on NVIDIA GPUs. Pipelines combine hardware-accelerated decoding and encoding, TensorRT inference, object tracking, and message-broker integration.
Building on that base, version 9.1 adds five notable items:
13 agentic skills for coding agents.
The MV3DT skill for cross-camera tracking.
The AMC skill for automatic calibration.
NVIDIA JetPack 7.2 support for Jetson Orin and Thor edge devices.
A unified open-source GitHub repository under CC-BY-4.0 AND Apache-2.0.
How MV3DT Tracks Objects Across Cameras
Among those additions, MV3DT is the main skill, so consider how it works. At its core, MV3DT projects detections from multiple calibrated cameras into a shared 3D coordinate system. It then associates observations of the same object across camera views. Finally, it assigns one globally consistent object ID.
Concretely, the data flow runs in four stages. For detection, each camera stream runs an object detector. MV3DT supports three models out of the box:
PeopleNetTransformer: a transformer-based people detector, the default for pedestrian scenes.
PeopleNet v2.6.3: a high-efficiency detector based on the DetectNet_v2 architecture.
RT-DETR 2D: a multi-class detector for pedestrians, transporters, and forklifts.
Next, for monocular 3D perception, each camera uses a 3×4 projection matrix stored in a YAML calibration file. This back-projects 2D bounding boxes into 3D world-space coordinates using a ground-plane assumption. Then, for multi-view association, the tracker shares tracklets using Message Queuing Telemetry Transport (MQTT). MQTT is a lightweight pub/sub messaging protocol. When two cameras observe the same person, it matches tracklets by proximity in 3D world space.
After association, results stream out in three forms. The On-Screen Display (OSD) shows a tiled grid with 2D and 3D bounding boxes. The Bird’s-Eye View (BEV) renders a top-down trajectory map. Kafka messaging delivers per-frame protobuf metadata, including sensor ID, object ID, and 3D bounding box.
How AutoMagicCalib Removes Manual Setup
MV3DT depends on calibrated cameras, which traditionally means checkerboards and downtime. Instead, AMC calibrates a network by analyzing tracked objects in existing video files or streams. It estimates each camera’s intrinsic parameters (focal length, principal point, lens distortion). It also estimates extrinsic parameters (rotation, translation, world position).
Under the hood, the pipeline runs five stages. These are per-camera trajectory extraction, single-view rectification, multi-view tracklet matching, bundle adjustment, and optional VGGT refinement. VGGT (Visual Geometry Grounded Transformer) helps when object movement is limited. AMC runs as a microservice with REST APIs and a web interface. Users supply only a layout image and a few alignment points.
The Agentic Skills Workflow
With MV3DT and AMC defined, the delivery mechanism is the skills themselves. Rather than editing configuration files, you describe intent in natural language. The skills work with Claude Code, Codex, Cursor, and similar agents. Setup is short:
Copy CodeCopiedUse a different Browser
git clone https://github.com/NVIDIA/DeepStream.git
cd DeepStream
Copy skills into your agent's skill directory (Codex shown)
mkdir -p ~/.codex/skills
cp -r skills/* ~/.codex/skills/
After launching the agent, a single prompt runs the reference app:
Copy CodeCopiedUse a different Browser
deploy mv3dt on the 12-camera sample dataset
From there, the MV3DT skill validates prerequisites, pulls the container, and installs Kafka and Mosquitto broker services. It also downloads model weights, generates the pipeline config, and launches tracking. Notably, if calibration files are missing, it triggers the AMC skills automatically.
DeepStream 9.0 vs 9.1
For context, the table below shows what changed between releases.
CapabilityDeepStream 9.0DeepStream 9.1
Agentic skills2 (deepstream-dev, import-vision-model)13 agentic skills
Multi-camera 3D trackingNot shipped as a skillMV3DT skill + reference app
Camera calibrationManualAutoMagicCalib (AMC) microservice
Jetson supportJetPack 7.1 GAJetPack 7.2 (Orin, Thor)
Sample datasets—4-camera and 12-camera MV3DT sets
DistributionNGC packages + GitHub sourceUnified GitHub monorepo
Use Cases With Examples
Given these capabilities, the features map to concrete deployments:
Warehouse safety: track a worker near forklifts across aisles with one ID, using RT-DETR 2D.
Retail analytics: follow a shopper between camera zones to measure dwell time without re-identification errors.
Smart-building monitoring: count occupancy across floors and feed Kafka metadata to dashboards.
Robotics and smart cities: share consistent world coordinates for navigation and incident review.
Interactive Explainer
To see the mechanism, the embedded demo below animates one person walking between three camera fields of view. Toggle between naive per-camera 2D tracking and MV3DT 3D fusion to watch the object ID stay consistent.
(function(){
window.addEventListener('message',function(e){
if(e.data && e.data.mv3dtHeight){
var f=document.querySelector('#mtp-mv3dt-embed iframe');
if(f){ f.style.height = e.data.mv3dtHeight + 'px'; }
}
});
})();
Key Takeaways
DeepStream 9.1 ships 13 agentic skills, letting coding agents build multi-camera vision pipelines from natural-language prompts.
MV3DT fuses per-camera detections into one shared 3D world, keeping a single globally consistent object ID across views.
AutoMagicCalib replaces manual checkerboard calibration by estimating camera intrinsics and extrinsics from existing video.
JetPack 7.2 support extends deployment to Jetson Orin and Thor, under a unified open-source GitHub monorepo.
Outputs stream as OSD, Bird’s-Eye View, and Kafka protobuf metadata, ready for downstream analytics and dashboards.
Check out the Repo here. Also, feel free to follow us on Twitter and don’t forget to join our 150k+ML SubReddit and Subscribe to our Newsletter. Wait! are you on telegram? now you can join us on telegram as well.
Need to partner with us for promoting your GitHub Repo OR Hugging Face Page OR Product Release OR Webinar etc.? Connect with us
The post NVIDIA Released DeepStream 9.1: Bringing Agentic AI to Vision AI With 13 Skills and Multi-View 3D Tracking appeared first on MarkTechPost.
関連記事
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み