NVIDIA、自動運転開発向け大規模モデル「Alpamayo 2 Super」を公開

from alpamayo2_super.load_physical_aiavdataset import load_physical_aiavdataset

from alpamayo2_super.models.alpamayo2_super import Alpamayo2Super
``` （原文の技術表記: `from`、` `、`from`、` `）

``from` `alpamayo2_super.visualization` `import plot_inference_result

data = load_physical_aiavdataset( （原文の技術表記: `from`）

「030c760c-ae38-49aa-9ad8-f5650a545d26」

t0_us = 2000000 （原文の技術表記: `)`）

model` `= Alpamayo2Super.from_pretrained("nvidia/Alpamayo2-Super", dtype=torch.bfloat16, device_map="cuda:0")

```python
model_inputs = helper.prepare_model_inputs(data, model.config, model.tokenizer)

model_inputs = helper.to_device(model_inputs, "cuda")

torch.cuda.manual_seed_all(42)

with torch.autocast("cuda", dtype=torch.bfloat16):
    pred_xyz, pred_rot, logprob, extra = model.sample_trajectories_from_data(
        data=model_inputs,
        top_p=0.98,
``` （原文の技術表記: ` `、` `、` `）

温度を` `0.6 に設定し、生成する軌道サンプル数を 1 つに制限します。拡散モデルの推論ステップは 10 ステップとし、追加情報を取得するフラグを有効化して実行します。

生成結果とメタデータを可視化する関数 plot_inference_result を呼び出し、入力データ、予測された XYZ 座標、および追加情報を渡して描画します。

```python
fig, metadata = plot_inference_result(
    data=data,
    pred_xyz=pred_xyz,
    extra=extra,
)
``` （原文の技術表記: `)`）

![Six camera views show a construction-zone driving scene with vehicles and equipment around the ego vehicle. Below, a trajectory plot compares the predicted path with the ground-truth motion, followed by a predicted Chain-of-Causation statement advising the vehicle to keep distance from a lead vehicle blocking the lane.](https://developer-blogs.nvidia.com/wp-content/uploads/2026/07/image7-8.webp)

*Figure 2. Alpamayo 2 Super planning in a challenging scene*

## 評価手法

モデルの推論結果と軌道の品質を評価するには、オープンループ評価とクローズドループ評価の 2 つの方法があります。**オープンループ評価**は、記録されたシーンにおいて予測された軌道や推論内容を正解ラベルと比較することで、その質を測定する手法です。

Alpamayo 2 Super は、以下の結果を達成しました。

- **軌道予測**: [Physical AI AV Dataset](https://huggingface.co/datasets/nvidia/PhysicalAI-Autonomous-Vehicles) から抽出した 1,434 の困難なサンプル全体で、`minADE_6` を 0.911 m に記録しました。

- **自動運転（AV）推論**: [Physical AI AV Reasoning Benchmark](https://huggingface.co/spaces/nvidia/PhysicalAI-AV-OOD-Reasoning-Challenge-2026) で 0.433 のスコアを達成しました。

- **LingoQA**: Alpamayo 2 Super は [LingoQA benchmark](https://github.com/wayveai/LingoQA/) で 79.2 を記録し、評価された 37 モデル中 1 位となりました。パラメータ数は 340 億ですが、Qwen2.5-VL（72B）を 17.0 ポイント、Qwen3-VL（32B）を 7.0 ポイント、Gemini 2.5 Pro を 15.1 ポイント、GPT-4o を 23.2 ポイントそれぞれ上回っています。

`minADE_6` の値が低いほど軌道予測の精度が高く、推論スコアが高いほど性能が良いことを示します。

ただし、オープンループ指標の主な課題は、これらが固定された事前録画された未来に対して予測を評価する点にあります。そのため、モデルの最初の行動以降に何が起こるか、あるいはその行動が周囲のシーンにどう影響するかといった要素は捉えきれていません。

例えば、自車両が車線変更を行った場合でも、オープンループによる再生では隣接車両が記録された軌道に沿って動き続けることになり、自車両への実際の反応を考慮しないという問題があります。

クローズドループシミュレーションでは、予測された各アクションがシーン内で実行され、シミュレーターに反応モデルが含まれている場合は、周囲のエージェントがどのように反応するかを捉えることができます。[NVIDIA AlpaSim](https://github.com/NVlabs/alpasim) は、観測の繰り返しレンダリング、ポリシーへのクエリ、そしてそのアクション適用を行うことでこれを可能にし、開発者が時間経過とともにこれらのクローズドループ効果を測定できるようにします。

AlpaSim 評価スイート上で Alpamayo 2 Super を実行するには、以下のシェルスクリプトコマンドを使用します。

`uv run alpasim_wizard deploy=local topology=2gpu driver=alpamayo2 `

```bash
wizard.log_dir=$PWD/tutorial eval.video.video_layouts=[REASONING_OVERLAY]

# デフォルトリストで使用してください。例：
# - /driver: alpamayo2
``` （原文の技術表記: `wizard.log_dir=$PWD/tutorial eval.video.video_layouts=[REASONING_OVERLAY]`、`# Should be used in defaults list, e.g.`、`# - /driver: alpamayo2`）

型チェックは、ドライバーのランタイム時に OmegaConf.structured merge を介して実行されます。

`defaults:`

  - alpamayo_configs    # カメラおよびシミュレーション設定（4 カメラ、10Hz） （原文の技術表記: `# Type validation happens at driver runtime via OmegaConf.structured merge`）

```yaml
- _self_                      # YAML の値がスキーマのデフォルト値を上書きします

# Alpamayo 2 Super ドライバー設定（Alpasim 用）

# ログレベル（ウィザードのグローバル設定を使用）
log_level: ${wizard.log_level}
``` （原文の技術表記: `# Alpamayo 2 Super Driver Configuration for Alpasim`、`# Logging level (uses wizard's global setting)`、`log_level: ${wizard.log_level}`）

# モデル設定

```yaml
model:
  model_type: alpamayo2  # alpasim.models レジストリ内のエントリーポイント名
  checkpoint_path: "nvidia/Alpamayo2-Super"  # HuggingFace のモデル ID（ドライバーコンテナ内でキャッシュ済みダウンロード、または認証が必要）
  # checkpoint_path: "/path/to/local/model"  # 事前にダウンロードしたモデルのローカルパスを使用する代替案
``` （原文の技術表記: `# Model configuration`、`model:`）

```yaml
checkpoint_path: "/mnt/drivers/alpamayo2/Alpamayo2-Super"

device: "cuda"

# クラスフリーガイダンスナビゲーションサンプリングを有効にする（注：少なくとも 70GB の VRAM を持つ 2 つの GPU が必要）
use_classifier_free_guidance_nav: false
``` （原文の技術表記: `# Server configuration`）

ホスト："0.0.0.0"

ポート：???

# 推論設定

`inference:`
  use_cameras:
    - camera_cross_left_120fov
    - camera_front_wide_120fov （原文の技術表記: `host: "0.0.0.0"`、`port: ???`、`# Inference configuration`）

カメラの視点設定

- 右側からのクロスビュー（FOV: 120°）
- 前方からの望遠ビュー（FOV: 30°）

``max_batch_size: 1  # A2Super はメモリを大量に消費するため、バッチサイズは 1 から開始する

subsample_factor: 1

context_length: 4  # A2Super はカメラごとに 4 フレームの時間情報を扱う

# ルート設定 — A2Super ではウェイポイントコマンドではなく、言語によるナビゲーションのみを使用する
`route:`
  use_waypoint_commands: false

# 出力設定 （原文の技術表記: `# Route configuration — A2Super uses language-only navigation, not waypoint commands`、`# Output configuration`）

出力ディレクトリ："/mnt/output/driver"

# トラジェクトリ最適化（A2Super ではデフォルトで無効）

`trajectory_optimizer:`
  enabled: false
`plot_debug_images: false` （原文の技術表記: `output_dir: "/mnt/output/driver"`、`# Trajectory optimization (disabled by default for A2Super)`）

動画 1: Alpamayo 2 Super が AlpaSim のクローズドループ内で走行し、建設現場の隣を走る激しい交通の中をナビゲートしている様子

913 件の再構成されたシーンにおいて、Alpamayo 2 Super は AlpaSim スコアで 1.50 ± 0.13 を達成しました。このクローズドループスコアは、ポリシーが将来の観測に影響を与えた後にのみ現れる衝突や車線逸脱、近接事故などの失敗を明らかにすることで、オープンループの結果を補完します。

| 評価 | ベンチマーク (セット) | 指標 | Alpamayo 2 Super | 基準スコア | より低い |
| --- | --- | --- | --- | --- | --- |
| オープンループ | [Physical AI AV Dataset](https://huggingface.co/datasets/nvidia/PhysicalAI-Autonomous-Vehicles) (1,434 件の困難なサンプル) | minADE_6 @ 6.4 s (m) | 0.911m | Alpamayo 1.5 Nano: 0.916m | より低い |
| オープンループ | [Physical AI AV Reasoning Benchmark](https://huggingface.co/spaces/nvidia/PhysicalAI-AV-OOD-Reasoning-Challenge-2026) | 推論スコア | 0.433 | Alpamayo 1.5 Nano: 0.414 / GPT-5.5: 0.502 | より高い |
| オープンループ | [LingoQA](https://arxiv.org/abs/2312.14115) | Lingo-Judge Score | 79.2 | Alpamayo 1.5 Nano: 74.2 / Qwen3-VL 32B: 72.2Qwen2.5-VL 72B: 62.2 / Gemini 2.5 Pro: 64.1GPT-4o: 56.0 | より高い |
| クローズドループ | [AlpaSim](https://github.com/NVlabs/alpasim) (Physical AI AV NuRec [データセット](https://huggingface.co/datasets/nvidia/PhysicalAI-Autonomous-Vehicles-NuRec) から再構築された 913 シーン) | AlpaSim Score | 1.50 ± 0.13 | Alpamayo 1.5 Nano: 1.37 ± 0.10 | より高い |

表 1：Alpamayo 2 Super の長尾運転シナリオにおけるオープンループおよびクローズドループ評価

軌跡（trajectory）は正確ですが、必ずしも意図をコンパクトに記述するものではありません。メタアクションは、「譲る」「車線変更」「停止」「加速」といった高レベルの意思決定に基づいて計画を要約します。これらの出力は、エンドツーエンド型基盤モデルとモジュール型の自動運転スタックをつなぐ役割を果たします。下流のプランナーはこの意思決定を活用でき、評価者は軌跡の幾何形状が意図と一致しているかを確認できます。また、チームは特定の maneuver（機動）をデータコーパスから検索することも可能です。

## メタアクションの生成

[meta-actions notebook](https://github.com/NVlabs/alpamayo2/blob/main/notebooks/meta_actions.ipynb) では、例題のシーンを使ってメタアクション出力を生成する方法が紹介されています。サポートされているメタアクションの詳細リストについては、[こちら](https://github.com/search?q=repo%3ANVlabs%2Falpamayo-coc-autolabeler%20ordered_actions&type=code) をご覧ください。

以下の通り、推論の核心となるステップと出力結果を示します。

```python
from alpamayo2_super import helper
from alpamayo2_super.load_physical_aiavdataset import load_physical_aiavdataset
``` （原文の技術表記: `from`、` `、`from`、` `）

```python
from alpamayo2_super.models.alpamayo2_super import Alpamayo2Super
``` （原文の技術表記: `from`、` `）

```python
from alpamayo2_super.text_tasks import generate_text, prepare_text_generation_inputs

data = load_physical_aiavdataset(
``` （原文の技術表記: `from`、` `、` `）

「030c760c-ae38-49aa-9ad8-f5650a545d26」

t0_us = 2000000 （原文の技術表記: `)`）

model` `=` `Alpamayo2Super.from_pretrained("nvidia/Alpamayo2-Super", dtype=torch.bfloat16, device_map="cuda:0")

`task_inputs = prepare_text_generation_inputs(
   data=data,
   model_config=model.config,

```python
tokenizer = model.tokenizer,
task = "meta_action",
)

task_inputs = helper.to_device(task_inputs, "cuda")
``` （原文の技術表記: `)`、` `）

torch.cuda.manual_seed_all(42)

with` `torch.autocast("cuda",` `dtype=torch.bfloat16):

   result = generate_text(
       model,
       task_inputs,
       top_p=0.98,
       temperature=0.6,
       max_new_tokens=512,
   )

cot = result["cot"][0]

``meta_action` `= result["meta_action"][0]``

``print("Chain-of-Causation:\n", cot)``

``print("\nMeta-action:\n", meta_action)``

## メタアクション精度の評価

メタアクションの精度を検証するため、Alpamayo 2 Super の出力結果と正解ラベルを比較し、その分類精度を交差率（IoU）で報告します。対象となるのは、メタアクション分類体系における「横方向」「縦方向」「車線方向」の 3 つの要素です。

内部データセットに用意された 94K クリップ（正解ラベル付き）を用いた評価では、Alpamayo 2 Super はメタアクション分類体系全体で以下の精度を達成しました。横方向の IoU が 74.59、縦方向が 61.91、車線方向が 73.55 です。

![Camera views of a driving scene alongside the model’s structured Meta-Action output showing lateral, longitudinal, and lane components.](https://developer-blogs.nvidia.com/wp-content/uploads/2026/07/image5-14.webp)

*Figure 3. An output showing a meta-action for the corresponding scenario*

## シーン理解

運転用ファウンデーションモデルの活用方法は、経路計画だけではありません。自然言語による質問応答（VQA）を使えば、モデルがシーンに対してどのような理解を持っているかを直接的に確認できます。

開発者は、シーン内の主要な要素や、それらが運転行動にどう影響するか、自車両が減速すべき理由、あるいはシナリオの他の側面について自由に質問できます。これにより、既存のシステムでは見落としがちな横方向や後方の状況も、360 度カメラからの入力を通じて把握することが可能です。

VQA は対話型デバッグやデータ運用において非常に有用です。ポリシーが特定の行動をとった理由を検証したり、大規模な動画コレクションに対して意味的なフィルタを適用したり、人間によるレビュー用の候補注釈を生成したりする際に役立ちます。

各クリップにおいて、Alpamayo 2 Super は関連するカメラフレーム内で 2D バウンディングボックスを予測することで、回答を生成し、参照されるアクターを空間的に特定します。この「グラウンディング（根拠付け）」により、自由形式のテキスト単体よりも出力の実用性が高まります。レビュー担当者はモデルがどの特定の物体を指しているかを検証でき、自動チェックでは不足や不整合のあるボックスを検出できます。また、下流のモデルは、視覚的証拠と推論、行動との間のより密接なリンクを活用（例えば蒸留を通じて）することが可能になります。

[シーン理解と VQA のノートブック](https://github.com/NVlabs/alpamayo2/blob/main/notebooks/vqa.ipynb) では、同じ入力データで VQA を実行する方法が示されています。主要な推論ステップとその出力は以下の通りです。

`from` `alpamayo2_super ``import` `helper`

```python
from alpamayo2_super.load_physical_aiavdataset import load_physical_aiavdataset

from alpamayo2_super.models.alpamayo2_super import Alpamayo2Super
``` （原文の技術表記: `from`、` `、`from`、` `）

```python
from alpamayo2_super.text_tasks import generate_text, prepare_text_generation_inputs

data = load_physical_aiavdataset(
  "ea4a6729-bf33-4997-905b-cd58774a3580",
  t0_us=7500000,
``` （原文の技術表記: `from`、` `、` `）

```python
model = Alpamayo2Super.from_pretrained("nvidia/Alpamayo2-Super", dtype=torch.bfloat16, device_map="cuda:0")

task_inputs = prepare_vqa_inputs(
    data=data,
    model_config=model.config,
    tokenizer=model.tokenizer,
``` （原文の技術表記: `)`、` `、` `）

「運転シーンを記述し、自車の挙動に影響を与える主要な交通要素を特定せよ」という問いに対し、

task_inputs` `を` `CUDA デバイスへ転送します。

その後、torch.autocast("cuda", dtype=torch.bfloat16`)` コンテキスト内で generate_text 関数を呼び出し、結果を取得します。

```python
model,

task_inputs,
top_p=1.0,
temperature=0.1,
max_new_tokens=1024,
)
answer = result["answer"][0]
print(answer)
``` （原文の技術表記: ` `）

![Six surround-view camera frames showing a driving scene, with a natural-language question posed to the model and the model’s text response identifying key traffic elements and their influence on the ego vehicle’s behavior.](https://developer-blogs.nvidia.com/wp-content/uploads/2026/07/image9-3.webp)

*Figure 4. Alpamayo 2 Super answering a question about the observed scene*

同様の入力に対して、このモデルは2種類の出力を返すことができます。上記の図4では、観察されたシーンの自然言語による説明が示されています。一方、下の図5では、同じモデルが関連するカメラフレーム内で2次元のバウンディングボックスを予測することで、参照されるオブジェクトの空間的な位置特定を行っています。

![A camera frame with bounding boxes drawn around referenced vehicles, alongside the model’s structured output showing the camera view name, object class, and predicted pixel coordinates of the bounding box.](https://developer-blogs.nvidia.com/wp-content/uploads/2026/07/image1-14.webp)

Figure 5. 質問に対する回答として 2D グラウンディングを示した出力例

## VQA 応答とグラウンディング品質の評価

VQA の性能を評価するため、Alpamayo 2 Super が生成した回答を、内部で用意した 8,000 組の質問 - 回答ペアにおける正解データと比較しました。その結果、回答類似度は 0.652（数値が高いほど優れている）となり、Qwen3-VL 32B の 0.450 を上回りました。また、2D グラウンディングについては、予測されたバウンディングボックスと正解アノテーションを IoU で比較したところ 0.71 を達成し、同様に Qwen3-VL 32B の 0.17 を大きく引き離しました。これらの指標は、モデルが質問に正確に答えるだけでなく、周囲の全方位カメラからの視覚証拠と回答を適切に関連付けられているかを評価するものです。

## オートラベリング

推論モデルには意思決定に基づいた推論データが必要ですが、ロングテール領域の運転クリップを手動でラベル付けするのはコストが高く時間がかかります。アノテーターは時系列や複数カメラからの文脈を検証し、因果関係を持つ主体を特定し、それが自車両にどう影響するかを記述するとともに、意図する操縦動作と一貫性のあるラベルを付与する必要があります。Alpamayo 2 Super は、こうした構造を大規模に提案できるオフラインのオートラベラーとして機能します。これにより、アノテーションにかかるサイクルを数ヶ月から数日へと短縮できます。

## 構造化された CoC オートラベルの生成

[CoC オートラベリングノートブック](https://github.com/NVlabs/alpamayo2/blob/main/notebooks/autolabeling.ipynb) は、公開されているスキーマに従ったクリップを受け取り、選択したキーフレームごとに 1 つずつ構造化されたレコードを出力します。

`from` `alpamayo2_super ``import` `helper`

```python
from alpamayo2_super.load_physical_aiavdataset import load_physical_aiavdataset

from alpamayo2_super.models.alpamayo2_super import Alpamayo2Super
``` （原文の技術表記: `from`、` `、`from`、` `）

```python
from alpamayo2_super.text_tasks import generate_text, prepare_text_generation_inputs
``` （原文の技術表記: `from`、` `）

``data` `= load_physical_aiavdataset(``

「b5f3756c-4f0e-4298-a1ff-cc92ed392ae0」

t0_us = 11000000 （原文の技術表記: `)`）

model` `= Alpamayo2Super.from_pretrained("nvidia/Alpamayo2-Super", dtype=torch.bfloat16, device_map="cuda:0")

```python
task_inputs = prepare_text_generation_inputs(
    data=data,
    model_config=model.config,
)
``` （原文の技術表記: ` `）

```python
tokenizer = model.tokenizer
task = "auto_labeling"

torch.cuda.manual_seed_all(42)

with torch.autocast("cuda", dtype=torch.bfloat16):
    result = generate_text(
        model,
        task_inputs,
        top_p=0.98,
        temperature=0.6,
        max_new_tokens=1024,
    )

auto_labeling_text = result["cot_auto_labeling"][0]
auto_labeling_json = result["cot_auto_labeling_json"][0]
print(json.dumps(auto_labeling_json, indent=2))

pred_xyz, pred_rot, _, extra = model.sample_trajectories_from_data(
    data=trajectory_inputs,
    top_p=0.98,
)
``` （原文の技術表記: ` `）

```python
temperature = 0.6,

num_traj_samples = 1,

diffusion_kwargs
``` （原文の技術表記: `        `）