Jetson上でのオープンソース視覚言語モデル(VLM)のデプロイ

記事に戻る Jetsonでのオープンソース視覚言語モデル（VLM）のデプロイ Upvote - Mitesh Patel mitp Follow nvidia Johnny Nuñez Cano johnnynv Follow nvidia Raymond Lo raymondlo84-nvidia Follow nvidia 視覚言語モデル（VLM）は、視覚的知覚と意味的推論を融合させることで、AIにおける大きな飛躍を象徴しています。固定されたラベルに制約される従来のモデルを超え、VLMは共同埋め込み空間を利用して、自然言語を用いて複雑でオープンエンドな環境を解釈し、議論します。 推論の精度と効率性の急速な進化により、これらのモデルはエッジデバイスに理想的となりました。高性能なAGX ThorやAGX OrinからコンパクトなOrin Nano Superまで、NVIDIA Jetsonファミリーは、物理AIとロボティクスのための高速化アプリケーションを駆動するために特別に構築されており、主要なオープンソースモデルに必要な最適化されたランタイムを提供します。 このチュートリアルでは、vLLMフレームワークを使用してNVIDIA Cosmos Reasoning 2BモデルをJetsonラインナップ全体にデプロイする方法を実演します。また、このモデルをLive VLM WebUIに接続し、インタラクティブな物理AIのためのリアルタイムのウェブカメラベースのインターフェースを有効にする手順を案内します。 対応デバイス: Jetson AGX Thor Developer Kit Jetson AGX Orin (64GB / 32GB) Jetson Orin Super Nano JetPack バージョン: JetPack 6 (L4T r36.x) — Orinデバイス用 JetPack 7 (L4T r38.x) — Thor用 ストレージ: NVMe SSD 必須 ~5 GB for the FP8 model weights ~8 GB for the vLLM container image モデルとvLLMコンテナをダウンロードするには、NVIDIA NGCアカウント（無料）を作成してください Jetson AGX Thor Jetson AGX Orin Orin Super Nano nvcr.io/nvidia/vllm:26.01-py3 ghcr.io/nvidia-ai-iot/vllm:r36.4-tegra-aarch64-cu126-22.04 ghcr.io/nvidia-ai-iot/vllm:r36.4-tegra-aarch64-cu126-22.04 FP8 via NGC (volume mount) FP8 via NGC (volume mount) FP8 via NGC (volume mount) Max Model Length 256 tokens (memory-constrained) GPU Memory Util 両デバイスでのワークフローは同じです: NGC CLI経由でFP8モデルチェックポイントをダウンロード デバイス用のvLLM Dockerイメージをプル モデルをボリュームとしてマウントしてコンテナを起動 Live VLM WebUIをvLLMエンドポイントに接続 ステップ 1: NGC CLI のインストール NGC CLIを使用すると、NVIDIA NGCカタログからモデルチェックポイントをダウンロードできます。 ダウンロードとインストール mkdir -p ~/Projects/CosmosReasoning cd ~/Projects/CosmosReasoning # Download the NGC CLI for ARM64 # Get the latest installer URL from: https://org.ngc.nvidia.com/setup/installers/cli wget -O ngccli_arm64.zip https://api.ngc.nvidia.com/v2/resources/nvidia/ngc-apps/ngc_cli/versions/4.13.0/files/ngccli_arm64.zip unzip ngccli_arm64.zip chmod u+x ngc-cli/ngc # Add to PATH export PATH="$PATH:$(pwd)/ngc-cli" CLIの設定 以下の入力を求められます: API Key — NGC API Key setupで生成 CLI output format — jsonを選択 org — Enterを押してデフォルトを受け入れる ステップ 2: モデルのダウンロード FP8量子化チェックポイントをダウンロードします。これはすべてのJetsonデバイスで使用されます: cd ~/Projects/CosmosReasoning ngc registry model download-version "nim/nvidia/cosmos-reason2-2b:1208-fp8-static-kv8" これにより、cosmos-reason2-2b_v1208-fp8-static-kv8/というディレクトリが作成されます。 ステップ 3: vLLM Dockerイメージのプル Jetson AGX Thor の場合 docker pull nvcr.io/nvidia/vllm:26.01-py3 Jetson AGX Orin / Orin Super Nano の場合 docker pull ghcr.io/nvidia-ai-iot/vllm:r36.4-tegra-aarch64-cu126-22.04 ステップ 4: vLLMでCosmos Reasoning 2Bをサーブする オプション A: Jetson AGX Thor Thorは十分なGPUメモリを備えており、広いコンテキスト長でモデルを実行できます。 ダウンロードしたモデルへのパスを設定し、ホストのキャッシュメモリを解放します: MODEL_PATH="$HOME/Projects/CosmosReasoning/cosmos-reason2-2b_v1208-fp8-static-kv8" sudo sysctl -w vm.drop_caches=3 モデルをマウントしてコンテナを起動: docker run --rm -it \ --runtime nvidia \ --network host \ --ipc host \ -v "$MODEL_PATH:/models/cosmos-reason2-2b:ro" \ -e NVIDIA_VISIBLE_DEVICES=all \ -e NVIDIA_DRIVER_CAPABILITIES=compute,utility \ nvcr.io/nvidia/vllm:26.01-py3 \ bash コンテナ内で環境をアクティベートし、モデルをサーブ: vllm serve /models/cosmos-reason2-2b \ --max-model-len 8192 \ --media-io-kwargs '{"video": {"num_frames": -1}}' \ --reasoning-parser qwen3 \ --gpu-memory-utilization 0.8 注: --reasoning-parser qwen3 --media-io-kwargs 以下の表示が現れるまで待ちます: INFO: Uvicorn running on http://0.0.0.0:8000 オプション B: Jetson AGX Orin AGX Orinは、Thorと同じ広いパラメータでモデルを実行するのに十分なメモリを備えています。 ダウンロードしたモデルへのパスを設定し、ホストのキャッシュメモリを解放します: MODEL_PATH="$HOME/Projects/CosmosReasoning/cosmos-reason2-2b_v1208-fp8-static-kv8" sudo sysctl -w vm.drop_caches=3 1. コンテナを起動: docker run --rm -it \ --runtime nvidia \ --network host \ -v "$MODEL_PATH:/models/cosmos-reason2-2b:ro" \ -e NVIDIA_VISIBLE_DEVICES=all \ -e NVIDIA_DRIVER_CAPABILITIES=compute,utility \ ghcr.io/nvidia-ai-iot/vllm:r36.4-tegra-aarch64-cu126-22.04 \ bash 2. コンテナ内で環境をアクティベートし、サーブ: cd /opt/ source venv/bin/activate vllm serve /models/cosmos-reason2-2b \ --max-model-len 8192 \ --media-io-kwargs '{"video": {"num_frames": -1}}' \ --reasoning-parser qwen3 \ --gpu-memory-utilization 0.8 以下の表示が現れるまで待ちます: INFO: Uvicorn running on http://0.0.0.0:8000 オプション C: Jetson Orin Super Nano (メモリ制約あり) Orin Super NanoはRAMが大幅に少ないため、積極的なメモリ最適化フラグが必要です。 ダウンロードしたモデルへのパスを設定し、ホストのキャッシュメモリを解放します: MODEL_PATH="$HOME/Projects/CosmosReasoning/cosmos-reason2-2b_v1208-fp8-static-kv8" sudo sysctl -w vm.drop_caches=3 1. コンテナを起動: docker run --rm -it \ --runtime nvidia \ --network host \ -v "$MODEL_PATH:/models/cosmos-reason2-2b:ro" \ -e NVIDIA_VISIBLE_DEVICES=all \ -e NVIDIA_DRIVER_CAPABILITIES=compute,utility \ ghcr.io/nvidia-ai-iot/vllm:r36.4-tegra-aarch64-cu126-22.04 \ bash 2. コンテナ内で環境をアクティベートし、サーブ: cd /opt/ source venv/bin/activate vllm serve /models/cosmos-reason2-2b \ --host 0.0.0.0 \ --port 8000 \ --trust-remote-code \ --enforce-eager \ --max-model-len 256 \ --max-num-batched-tokens 256 \ --gpu-memory-utilization 0.65 \ --max-num-seqs 1 \ --enable-chunked-prefill \ --limit-mm-per-prompt '{"image":1,"video":1}' \ --mm-processor-kwargs '{"num_frames":2,"max_pixels":150528}' 主要フラグの説明 (Orin Super Nano のみ): --enforce-eager メモリ節約のためCUDAグラフを無効化 --max-model-len 256 利用可能メモリに収まるようコンテキストを制限 --max-num-batched-tokens 256 モデル長制限に合わせる --gpu-memory-utilization 0.65 システムプロセスのためのヘッドルームを確保 --max-num-seqs 1 メモリ最小化のため一度に1リクエストのみ --enable-chunked-prefill メモリ効率化のためプリフィルをチャンク処理 --limit-mm-per-prompt プロンプトあたり画像1枚、動画1つに制限 --mm-processor-kwargs 動画フレーム数と画像解像度を削減 --VLLM_SKIP_WARMUP=true 時間とメモリ節約のためウォームアップをスキップ サーバー準備完了の表示が現れるまで待ちます: INFO: Uvicorn running on http://0.0.0.0:8000 サーバーが実行中か確認 Jetson上の別のターミナルから: curl http://localhost:8000/v1/models 応答にモデルがリストされているはずです。 ステップ 5: 簡単なAPIコールでテスト WebUI接続前に、モデルが正しく応答することを確認します: curl -s http://localhost:8000/v1/chat/completions \ -H "Content-Type: application/json" \ -d '{ "model": "/models/cosmos-reason2-2b", "messages": [ { "role": "user", "content": "What capabilities do you have?" } ], "max_tokens": 128 }' | python3 -m json.tool ヒント: APIリクエストで使用するモデル名は、vLLMが報告するものと一致させる必要があります。curl http://localhost:8000/v1/models ステップ 6: Live VLM WebUIへの接続 Live VLM WebUIは、リアルタイムのウェブカメラからVLMへのインターフェースを提供します。vLLMがCosmos Reasoning 2Bをサーブしている状態で、ウェブカメラをストリーミングし、推論付きのライブAI分析を得ることができます。 Live VLM WebUIのインストール 最も簡単な方法はpipです（別のターミナルを開いてください）: curl -LsSf https://astral.sh/uv/install.sh |

Jetson上でのオープンソース視覚言語モデル(VLM)のデプロイ

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト

背景や根拠まで確認しますか？

関連記事

ニュースの次に確認する

調べる

選ぶ

サイト