NVIDIA アルパマイヨを用いたクローズドループでの自動運転モデルのポストトレーニング手法

自律走行車（AV）のポリシーを開発するには、トレーニングと展開の間にある重要なギャップを埋める必要があります。より複雑な運転シーンを推論し、より豊かな中間推論を生み出すことができるビジョン・言語・アクション（VLA: Vision-language-action）モデルは、主にオープンループで訓練されます。これは、環境への影響を考慮せずにモデルの出力が直接グランドトゥルースの行動と比較される状態です。 一方、展開時には運転ポリシーはクローズドループで動作します。ここでは、すべてのブレーキ、ステアリング、ナビゲーションの決定が環境に影響を与え、小さなエラーが時間とともに蓄積する可能性があります。 この課題に対処するための体系的な手段として、NVIDIA Alpamayo が提供されます。これは、AV 開発のための AI モデル、シミュレーションフレームワーク、および物理的 AI（physical AI）データセットのオープンポートフォリオです。Alpamayo には、AV シミュレーションプラットフォームである AlpaSim と、クローズドループトレーニングフレームワークである AlpaGym（近日公開予定）が含まれています。 本記事では、NVIDIA Alpamayo を用いて AV モデルをクローズドループで訓練する方法について説明します。具体的には、以下の手順を追跡します： - AlpaGym のインストールと設定 - クローズドループ報酬の定義 - クローズドループトレーニングの実行 - 下流処理での使用のためにポストトレーニングされたチェックポイントをエクスポート AlpaGym を用いたクローズドループ事後トレーニングは、シミュレーションでのロールアウトをトレーニング経験に変換することで、自律走行車（AV）のトレーニングワークフローを拡張します。シミュレーションを単なる最終評価段階として扱うのではなく、AlpaGym はシミュレータからのフィードバックをポリシートレーニングループに直接接続します。 ![image](https://developer-blogs.nvidia.com/wp-content/uploads/2026/05/end-to-end-workflow-post-train-av-model-nvidia-alpamayo-alpagym.webp)*図 1. AlpaGym を使用して Alpamayo などの運転モデルを事後トレーニングするためのエンドツーエンドのワークフロー* ## クローズドループ強化学習における AlpaGym の使用方法 [強化学習（RL）](https://www.nvidia.com/en-us/glossary/reinforcement-learning/) は、オープンループで最初にトレーニングされたポリシーを改善するために使用できます。単に記録されたエキスパートの軌道に対して最適化するのではなく、モデルはシミュレーション内での自身の行動の結果から学習できるようになります。 この転換は、小さな予測や計画ミスが時間とともに蓄積する可能性がある自律走行車の開発において極めて重要です。クローズドループトレーニングでは、各ブレーキ、ステアリング、ナビゲーションの決定が環境の次の状態に影響を与え、静的なデータセットやオープンループ評価では見逃される可能性のある失敗モードを明らかにします。 しかし、クローズドループ強化学習（RL）を可能にすることには独自の課題が伴います。モデル推論の実行、シミュレーションの走査、モデルのトレーニング、重み更新の同期、インスタンス間での通信、データ転送——これらすべてを並列で処理することは複雑です。これには、堅牢かつ柔軟な方法によるオーケストレーションと、計算リソースの効率的な活用が必要です。 ![image](https://developer-blogs.nvidia.com/wp-content/uploads/2026/05/grid-car-street-videos.gif)*図 2. AlpaGym は大規模なクローズドループトレーニングを可能にし、運転モデルがさまざまなシミュレーションシナリオにおいて自らの行動の結果から学習できるようになります。これにより、トレーニングとデプロイメントの間の乖離が大幅に縮小されます* これらの課題に対処するため、AlpaGym はポリシートレーニングを AlpaSim のクローズドループロールアウトに接続し、クローズドループ RL 用のオープンソースかつ高スループットなフレームワークを提供します。このシステムは、[AlpaSim シミュレータマイクロサービス](https://github.com/NVlabs/alpasim)、[NVIDIA Physical AI オープンデータセット](https://huggingface.co/collections/nvidia/physical-ai)、および分散型 NVIDIA [Cosmos-RL](https://github.com/nvidia-cosmos/cosmos-rl) トレーニングフレームワークを組み合わせ、スケーラブルなポストトレーニングパイプラインを実現しています。 AlpaGym は、単一の GPU からマルチノード GPU クラスターまでシームレスにスケールするように設計されており、ユーザーコードの変更を必要とせずに、非同期かつ安定した分散強化学習（RL）パイプラインを通じて効率的な大規模トレーニングをサポートします。ランタイムおよびオーケストレーション層として AlpaSim と Cosmos RL を統合し、デフォルトアルゴリズムとして GRPO を採用しており、Alpamayo モデルおよび [Physical AI AV NuRec データセット](https://huggingface.co/datasets/nvidia/PhysicalAI-Autonomous-Vehicles-NuRec) で検証された参照用報酬関数も含まれています。 AlpaGym のポストトレーニングを開始するには、以下の手順に従ってください。 ## ステップ 1: AlpaGym のインストールと設定 Alpamayo チェックアウトから AlpaGym をインストールするには、ホスト上でネイティブ CUDA 依存関係および Redis をインストールし、その後 UV ワークスペースを同期します： sudo apt-get update sudo apt-get install -y libcudnn9-dev-cuda-12 \ libnccl-dev=2.26.2-1+cuda12.8 libnccl2=2.26.2-1+cuda12.8 \ redis-server git-lfs git lfs install git lfs pull huggingface-cli login # または export HF_TOKEN=... uv sync --all-packages sudo apt-get update sudo apt-get install -y libcudnn9-dev-cuda-12 \ libnccl-dev=2.26.2-1+cuda12.8 libnccl2=2.26.2-1+cuda12.8 \ redis-server uv sync --all-packages Python 環境は uv によって管理されますが、cuDNN、NCCL、および redis-server バイナリは、CUDA モデルスタックおよび Cosmos-RL で使用されるホスト依存関係です。また、適切な Dockerfile も用意されています。シーンアーティファクトのダウンロードには Hugging Face の認証が必要です。 AlpaGym の実行は Hydra 設定ファイルです。これは、ポリシーのチェックポイント、AlpaSim シーンセット、ロールアウト並列処理、報酬関数、および Cosmos-RL のトレーニングパラメータを指定します。このワークフローでは、開始チェックポイントは Alpamayo モデルとなります。 ![image](https://developer-blogs.nvidia.com/wp-content/uploads/2026/05/closed-loop-post-training-nvidia-alpagym-2-625x775.png)*図 3. AlpaGym クローズドループ事後トレーニングでは、ホストプロセスが AlpaSim を起動し、ロールアウトワーカーはポリシードライバを公開し、AlpaSim がシミュレータセッションを実行し、AlpaGym はロールアウト成果物と報酬をトレーナーに返します* ## ステップ 2: クローズドループ報酬の定義 報酬は、クローズドループで改善したい行動に一致させる必要があります。軌道品質に関する事後トレーニングの場合、一般的な報酬項には、進行状況、車線維持、衝突回避、路外走行率、快適性、および参照軌道からの距離が含まれます。 実用的な最初の報酬は意図的にシンプルにするべきです：進行状況と安全性に致命的な失敗に対するペナルティを組み合わせたものです。AlpaGym では、可能な限り AlpaSim のメトリクス（metrics）を使用し、いくつかの項を単純に合計することでこれを表現できます。 # reward/progress_safety.yaml terms: - kind: metric metric_name: progress scale: 1.0 - kind: metric metric_name: collision_any scale: -10.0 - kind: metric metric_name: offroad scale: -5.0 パイプラインが安定したら、AlpaSim の動画およびメトリクスで観測された故障モードに対応した、よりターゲットを絞った項を追加します。 ## ステップ 3: クローズドループ事後トレーニングの起動 モデルのチェックポイントから AlpaGym のトレーニングを開始します。ここでは Alpamayo が例示モデルとして機能します。 uv run -m alpagym_host.cli \ policy=alpamayo \ policy.model.kind=alpamayo_r1 \ policy.model.path=/path/to/checkpoint \ reward=progress_safety これにより、単一の GPU で AlpaGym と AlpaSim が起動します。ご自身の AV モデルの使用方法に関する詳細な手順については、追ってご案内いたします。 トレーニング中、AlpaGym は AlpaSim からシーンロールアウトを要求し、エピソードごとのアーティファクトを収集し、報酬を計算し、ポリシーを更新します。有用なトレーニングシグナルには、平均報酬、報酬の分散、失敗率、ポリシー損失、ロールアウトスループット、生成されたロールアウトと最新のポリシー重みとの間のギャップが含まれます。 このレシピでは、これらのロールアウトアーティファクトとトレーニングシグナルがポストトレーニング実行の主要な出力となります。これらは、クローズドループ学習が正しく実行されていることを確認し、独自に保持した AlpaSim シナリオスイートでのダウンストリーム評価用にチェックポイントを選択するのに役立ちます。 ## ステップ 4: ポストトレーニング済みチェックポイントのエクスポート トレーニング完了後、AlpaGym が生成したチェックポイントおよび設定ファイルを、AlpaSim ドライバーがアクセスできるフォルダー（例：Hugging Face モデルキャッシュ）に配置します。その後、そのフォルダーパスを指定する新しいドライバー設定を作成します（ここでは alpamayo1_CLRL と呼びます）。ドライバー YAML 設定でカスタムパスを指定するために編集すべき内容については、以下のコードをご覧ください。これにより、AlpaGym のポストトレーニング済みポリシーが AlpaSim 内で実行可能となり、クローズドループロールアウトが可能になります。 ... model: model_type: alpamayo1 checkpoint_path: "/root/.cache/huggingface/alpasim_models/alpamayo1_CLRL/step_NNNNNN" device: "cuda" ... 次に、エクスポートしたモデルを実行して、ポリシー（policy）、ドライバー、シミュレーションループが正しく接続されているかを確認します。この段階では、環境の次の状態に自身の行動がどのように影響を与えるかを観察し、ポリシーの挙動を検証できます。 uv run alpasim_wizard deploy=local topology=1gpu \ driver=alpamayo1_CLRL wizard.log_dir=$PWD/tutorial_alpamayo_CLRL \ scenes.scene_ids=[clipgt-9ea70552-6dcb-4ee8-a368-9a906a333f6e] クローズドループのロールアウト（rollout）からは、モデルが安定した軌道を生み出しているか、走行可能領域内に留まっているか、近隣の交通エージェントに対してどのように反応するか、そしてポストトレーニングでどの失敗モードを優先的に改善すべきかなど、有用な定性的なシグナルを得ることができます。 *Video 1. AV モデルの AlpaSim クローズドループロールアウト。レンダリングされたカメラビュー、予測軌道、ロールアウトレベルの診断情報を含む* このチェックポイントを使用することで、チームはトレーニング中に収集されたロールアウト動画、エピソードごとのメトリクス、報酬の推移（reward traces）、および失敗事例を検証できます。これらのアーティファクトは、報酬設計のデバッグ、ロールアウトの安定性確認、および後続の AlpaSim におけるホールドアウト評価用のチェックポイント選定に役立ちます。 ## AV モデルのポストトレーニング開始 クローズドループ事後トレーニングは、エンドツーエンドの運転ポリシーを反復するための実用的な道筋を提供します。この場合、AlpaGym はシミュレーション内で AV ポリシーを事後トレーニングするためにクローズドループロールアウトを使用し、行動の結果から学習できるようにします。 これらのツールを NVIDIA Alpamayo Open Platform の他のコンポーネントと組み合わせて使用することで、クローズドループシミュレーションワークフローで実行・検査・事後トレーニングが可能な推論モデルを開発できます。独自の報酬、シナリオ、評価スイートを用いて、このレシピをより広範に拡張してください。 始めたいですか？[NVlabs/alpamayo-recipes](https://github.com/NVlabs/alpamayo-recipes) GitHub リポジトリを確認し、本記事のレシピをあなた自身のユースケースに合わせて適応させてください。 公開リーダーボードでモデルを評価するには、CVPR 2026 で NVIDIA が開始した 2 つのオープン AV チャレンジをご覧ください： - AlpaSim クローズドループ E2E ドライブングチャレンジ - Physical AI AV Reasoning Challenge 詳しくは、[Expanding the Alpamayo Open Platform for Developing Reasoning AVs Across Models, Data, and Simulation](https://huggingface.co/blog/drmapavone/nvidia-alpamayo-1-5) をご覧ください。 NVIDIA 創設者兼 CEO のジェンソン・ファン（Jensen Huang）の[NVIDIA GTC Taipei 2026 キーノート](https://www.nvidia.com/en-tw/gtc/taipei/keynote/?nvid=nv-int-bnr-823296)に参加し、関連する[セッション](https://www.nvidia.com/en-tw/gtc/taipei/session-catalog/?tab.catalogallsessionstab=16566177511100015Kus#/)でさらに深く掘り下げてみましょう。

NVIDIA アルパマイヨを用いたクローズドループでの自動運転モデルのポストトレーニング手法

背景や根拠まで確認しますか？

調べる

選ぶ

サイト