NVIDIA、TensorRT Model Connect を公開プレビュー
本文の状態
日本語全文を表示中
詳細モードで約5分の本文を読めます。
同じ出来事の情報源
この情報源を基点に整理
MarkTechPost
NVIDIA は Hugging Face チェックポイントを中間ステップなしで 2 コマンドで C++ 推論へ変換する「TensorRT Model Connect」の公開プレビューを開始した。
AI深層分析を開く2026年8月19日 06:55
AI深層分析
キーポイント
中間ステップ不要な高速変換
Hugging Face またはローカルのチェックポイントを、ONNX エクスポートなどの中間工程を経ずに、TensorRT 推論用アーティファクトに変換する機能を二つのコマンドで提供している。
Python ランタイム不要なネイティブ実行
生成されたバージョン管理付きの .bundle ファイルは、C++ サービスや組み込みアプリケーション、ロボットスタックで PyTorch を使用せずに直接推論を実行できる。
AI エージェントによる開発とオープンソース化
プロジェクト全体が OpenAI Codex エージェントによって人間監督下で構築され、Apache-2.0 ライセンスで公開された家族所有の参考実装コレクションとして提供される。
Linux aarch64 限定の現状と適用領域
現在は Linux aarch64 環境（Python 3.10/3.12, glibc 2.39+, TensorRT 11.1.0.106）に最適化されており、ロボットや自動運転車などの C++ バイナリ内での推論が必須の産業向けである。
Python から C++ への簡易移行
2 つのコマンドで Hugging Face チェックポイントをネイティブ C++ TensorRT 推論に変換でき、ONNX を介さない。バージョン管理された .bundle ファイルが Python ビルドと PyTorch なし C++ ランタイムの受け渡し手段となる。
重要な引用
takes a supported Hugging Face or local checkpoint to end-to-end TensorRT inference in two commands
There is no intermediate ONNX export step.
inference can execute in a C++ service, embedded application, or robotics stack without PyTorch in the runtime path.
Applications call task APIs — generate(), transcribe(), generate_image(), embed(), solve() — instead of maintaining conversion stages and per-model application glue.
編集コメントを表示
編集コメント
TensorRT Model Connect は、C++ エコシステムにおける推論の標準化に向けた重要な一歩である。特に PyTorch の依存を排除し、ネイティブ C++ で完結する点が決定的な利点となるため、組み込みやロボット分野での採用が加速すると予想される。
Source Article
元記事を日本語で読む
本文に関係しない購読案内、埋め込み通知、サイト内プロモーションは除いています。
NVIDIA は、サポート対象の Hugging Face またはローカルのチェックポイントを 2 つのコマンドでエンドツーエンドの TensorRT 推論へ変換するオープンソースプロジェクト「TensorRT Model Connect (TRTMC)」を公開プレビューとしてリリースしました。中間ステップとして ONNX エクスポートを行う必要はありません。
ビルド結果として生成されるバージョン付きの .bundle アーティファクトは、ネイティブ C++ のタスク API を通じて実行されます。これにより、ランタイムパスに PyTorch を含めることなく、C++ サービスや組み込みアプリケーション、ロボットスタック上で推論を実行することが可能になります。
本プロジェクトは Apache-2.0 ライセンスの下で公開されており、単一の汎用コンバーターとしてではなく、家族経営の企業による一連のリファレンス実装群として提供されています。また NVIDIA は、モデル実装、性能チューニング、テスト、統合機能、ドキュメントに至るまで、プロジェクト全体が人間の監督とレビューのもと OpenAI Codex エージェントによって構築されたことを明言しています。
デプロイ可能でしょうか？
はい、評価やネイティブ統合の作業において、実際の環境条件下で利用可能です。コードはオープンソースであり、インストールも可能です。ただし、現在リリースされている wheels は Linux aarch64 のみに対応しており、Python 3.10 または 3.12、glibc 2.39 以降、TensorRT 11.1.0.106 が要件となります。
x86_64 向けの wheels は公開されていません。x86_64 ユーザーは Docker を用いたソースビルドのパスを利用する必要があります。
企業レベルでの適用について：
現在最も適しているのは、すでに自社の推論スタックを保有しているチームです。具体的には NVIDIA 製品を採用したスタートアップ、ロボットやデバイス関連企業、中堅・大企業のプラットフォーム部門や推論担当チームなどが該当します。Python サービスのみを提供する小規模なチームにとっては、得られるメリットは限定的です。
規制の厳しい業界の企業については、タグ付きリリースが公開されるまで標準化を見送ることをお勧めします。
適用業界：ロボット工学・自律機械、産業用検査・製造、車載コンピューティング、医療機器、防衛・航空宇宙エッジシステム、メディア処理など、推論を Python サーバーではなく C++ バイナリ内で実行する必要があるあらゆる分野。
活用シーン：オンデバイスでのテキスト生成、音声認識・合成、OCR およびドキュメント解析、C++ で実装された検索サービス向けの埋め込みベクトルと再ランク付け、拡散モデルによる画像・動画生成、セグメンテーション、時系列予測など。
2 つのコマンドでクイックスタート
Qwen3-0.6B のビルドと実行は以下の通りです：
trtmc build Qwen/Qwen3-0.6B --precision bf16 --max-cache-length 16384 --output qwen3-0.6b.bundle
trtmc run ./qwen3-0.6b.bundle --prompt "What is the capital of France? Answer in one word." --chat-template --no-thinking
生成された .bundle ファイルは、C++ 側から trtmc::load("./qwen3-0.6b.bundle") を呼び出すことで読み込み可能です。
このバンドルこそが設計上の重要な決断です。
TRTMC は、バージョン付きアーティファクトを介してビルド時と実行時を明確に分離します。チェックポイントの解決と TensorRT エンジンの構築は Python が担当し、ネイティブプロファイルが PyTorch を使わずに C++ 内で推論を実行します。少数のハイブリッドプロファイルではヘルパー Python 実行ファイルを呼び出しますが、その依存関係はマニフェストで明示的に宣言されます。
アプリケーションは、変換ステージや各モデル固有の統合コードを維持する代わりに、タスク API（generate(), transcribe(), generate_image(), embed(), solve()）を呼び出します。trtmc inspect コマンドにより、バンドルの種類、モデルファミリー、精度、ランタイムID、エンジン情報が表示され、アーティファクトが監査可能になります。
NVIDIA は従来のアプローチを「PyTorch → ONNX または TorchScript → TensorRT → モデル固有の C++ 統合」と定義し、それによって解消される課題として、エクスポート時のギャップ、モデルごとの反復的な統合作業、複数の変換アーティファクトにまたがる検証の分散を挙げています。
主要ポイント
- サポート対象の Hugging Face チェックポイントを、ONNX を介さずにネイティブ C++ の TensorRT 推論へ移行するには、2 つのコマンドを実行するだけで済みます。
- バージョン管理された .bundle ファイルが、Python ベースのビルド環境と PyTorch に依存しない C++ ランタイム間の引き渡し手段となります。
- 2026 年 7 月 29 日時点の GB300 スナップショットでは、76 のモデルファミリーにわたる 105 プロファイルがカバーされており、そのうち 102 が公式な参照値を 5% 以上上回る性能を示しています。
- 現時点で提供されている Wheels は Linux aarch64 のみに対応しており、x86_64 環境では Docker ソースからのビルドが必要です。
GitHub リポジトリや Hugging Face ページ、製品リリース、ウェビナーなどのプロモーションをご希望の場合は、お気軽にお問い合わせください。
原文を表示
NVIDIA has released TensorRT Model Connect (TRTMC) in public preview, an open-source project that takes a supported Hugging Face or local checkpoint to end-to-end TensorRT inference in two commands. There is no intermediate ONNX export step. The build produces a versioned .bundle artifact that runs through native C++ task APIs, so inference can execute in a C++ service, embedded application, or robotics stack without PyTorch in the runtime path. The project is Apache-2.0 licensed and ships as a collection of family-owned reference implementations rather than a single generic converter. NVIDIA also states that the entire project — model implementations, performance tuning, tests, integrations, and docs — was built using OpenAI Codex agents under human direction and review.
Is it deployable?
Yes, for evaluation and native integration work, with real conditions. The code is open and installable. Release wheels currently target Linux aarch64 only, with Python 3.10 or 3.12, glibc 2.39 or newer, and TensorRT 11.1.0.106. x86_64 wheels are not published; x86_64 users must take the Docker source-build path.
Company level: Best fit today is teams that already own their inference stack: NVIDIA-shop startups, robotics and device companies, and platform or inference teams inside mid-size and large enterprises. Small teams shipping a Python service get less from it. Regulated enterprises should wait for a tagged release before standardizing on it.
Industries: Robotics and autonomous machines, industrial inspection and manufacturing, automotive in-vehicle compute, medical devices, defense and aerospace edge systems, and media processing — anywhere inference has to live inside a C++ binary rather than a Python server.
Applications: On-device text generation, speech recognition and synthesis, OCR and document parsing, embeddings and reranking for a retrieval service written in C++, diffusion image and video generation, segmentation, and time-series forecasting.
The two commands
The quick start builds and runs Qwen3-0.6B:
trtmc build Qwen/Qwen3-0.6B --precision bf16 --max-cache-length 16384 --output qwen3-0.6b.bundle
trtmc run ./qwen3-0.6b.bundle --prompt "What is the capital of France? Answer in one word." --chat-template --no-thinking
The same .bundle loads from C++ with trtmc::load("./qwen3-0.6b.bundle").
The bundle is the actual design decision
TRTMC splits build and runtime at a versioned artifact. Python owns checkpoint resolution and TensorRT engine construction. Native profiles then execute inference in C++ without PyTorch. A small number of hybrid profiles invoke a helper Python executable, and their manifests declare that dependency explicitly.
Applications call task APIs — generate(), transcribe(), generate_image(), embed(), solve() — instead of maintaining conversion stages and per-model application glue. trtmc inspect exposes bundle kind, model family, precision, runtime identity, and engines, which makes the artifact auditable rather than opaque.
NVIDIA frames the conventional route as PyTorch → ONNX or TorchScript → TensorRT → model-specific C++ integration, and names the failure modes it removes: export gaps, repeated per-model integration, and validation spread across several conversion artifacts.
Key Takeaways
Two commands take a supported Hugging Face checkpoint to native C++ TensorRT inference, with no ONNX step.
A versioned .bundle is the handoff between the Python build and a PyTorch-free C++ runtime.
The July 29, 2026 GB300 snapshot covers 105 profiles across 76 families; 102 beat their declared reference by more than 5%.
Wheels are Linux aarch64 only today; x86_64 requires the Docker source build.
Check out the GitHub Repo. Also, feel free to follow us on Twitter and don’t forget to join our 150k+ML SubReddit and Subscribe to our Newsletter. Wait! are you on telegram? now you can join us on telegram as well.
Need to partner with us for promoting your GitHub Repo OR Hugging Face Page OR Product Release OR Webinar etc.? Connect with us
The post NVIDIA Releases TensorRT Model Connect in Public Preview: Hugging Face Checkpoint to Native C++ Inference in Two Commands appeared first on MarkTechPost.
今日のまとめ
AIデイリーブリーフで今日の重要ニュースをまとめ読み