Qwen、自動運転向けビジョン言語基盤モデル「Qwen-Drive-1.0」を発表

Qwen-Drive-1.0：自律走行向けビジョン・ランゲージ基盤モデルへの第一歩 | Qwen2026/09/03 · 4 minute · 733 words · QwenTeam

論文 GitHub Hugging Face Model Scope

イントロダクション

自律走行において、3D 知覚と視覚的質問応答を事前学習段階で統合し、さらに運動計画へと拡張する初のビジョン・ランゲージ基盤モデル「Qwen-Drive-1.0」を発表します。このモデルは、事前学習済みの VLM（Vision-Language Model）アーキテクチャを一切変更せずに実現しています。

ベースにはネイティブにマルチモーダルに対応した Qwen3.5-4B を採用し、2 つの外部モジュールを追加しました。1 つ目は BEV（Bird's Eye View）知覚ヘッドで、これは明示的で検証可能な 3D プロブとして機能します。これにより、3D オブジェクト検出、セマンティック占拠予測、BEV マップ分割を同時に実行可能です。2 つ目はプランニング・エキスパートで、フローマッチングを通じて将来の自車両軌道を生成します。

段階的なトレーニングを行うことで、汎用 VLM の自律走行能力を大幅に向上させました。3D 知覚、運転に関する視覚的質問応答、運動計画という各タスクでその有効性を検証し、運転シナリオへの適応に向けた次世代 VLM ベースとなる統合されたドライビング・ビジョン・ランゲージモデルを確立しました。

ハイライト

• Qwen-Drive-1.0 は、事前学習段階で 3D 知覚と視覚的質問応答を統合し、さらに運動計画へと拡張する、自律走行向けの初のビジョン・ランゲージ基盤モデルです。このモデルは、事前学習済みの VLM アーキテクチャを一切変更することなく実現されています。
• 外部の BEV（Bird's-Eye View）知覚ヘッドが、明確で検証可能な 3D プロブとして機能します。これにより、3D 検出、セマンティック占拠予測、BEV マップ分割を同時に学習可能となり、事前学習済みの VLM に明確な知覚出力をもたらしながら、高い競争力を持つビジョン・ランゲージ性能も維持しています。
• 段階的なトレーニングとデータレシピにより、異なるデータセットのラベルを統合し、回答を書き換え、一貫性のあるサンプルを選別します。これにより、運転データと汎用ビジョン・ランゲージの監督学習を組み合わせてドメイン適応を支援しつつ、壊滅的忘却（catastrophic forgetting）を防ぎます。
• 事前学習済みの VLM の表現に特化した「プランニングエキスパート」が、フローマッチングを用いて将来のエゴ車両軌道を生成します。統一された軌道注釈により、複数の公開運転データセット間で統合トレーニングが可能となり、オープンループ、疑似クローズドループ、そしてクローズドループの評価においてすべて高い競争力を持つ結果を達成しています。

モデルアーキテクチャ

Qwen-Drive-1.0 は、ネイティブにマルチモーダルな Qwen3.5-4B を基盤としています。共有ビジョンエンコーダーと VLM（Vision-Language Model）が、単一視点および複数視点の運転画像、時間的な画像シーケンス、そして一般的な画像を処理します。

事前学習済みのアーキテクチャを変更することなく、2 つの外部モジュールがこの共有パスからデータを読み取ります。BEV 知覚ヘッドは、複数視点の単一フレーム入力から BEV（Bird's Eye View）表現を構築し、3D オブジェクト検出、セマンティック占拠予測、BEV マップ分割を統合的に実行します。これは明示的で検証可能な 3D プロブとして機能し、その損失関数は共同トレーニング中に共有ビジョンパスへの追加の勾配経路を提供します。

プランニングエキスパートは、VLM の表現に特化した拡散トランスフォーマーです。フローマッチングを通じて 5 秒間の自車軌道を生成し、必要に応じてテキストによる計画理由を条件として受け付けます。これにより、知覚、質問応答、そして計画が一つの事前学習済み VLM に統合されます。

パフォーマンス

汎用能力を損なわずに運転シーンを理解する

Qwen-Drive-1.0-SFT は、運転 QA の平均スコアで 69.43 を達成し、汎用 VLM および運転や実体化に特化した専門モデルの両方を上回っています。これは、同モデルが運転シーンに対する強力な理解能力を備えていることを示しています。

すべてのベンチマークでは、モデルの能力をより直接的に反映させるため、同じ高確度デコーディング設定（greedy=false, top-p=0.001, top-k=1, temperature=0.01, repetition_penalty=1.0, presence_penalty=0.0）を使用しています。

LingoQA の評価では、公式の LingoJudge がシナリオ間で緩く一貫性のないスコアリングを行うことが判明したため、Qwen-Plus をジャッジとして採用しました。公式の LingoJudge プロトコルに基づく場合、Qwen-Drive-1.0-SFT の LingoScore は 79.4 です。

各ベンチマークでは、すべての手法を同一のジャッジが評価します。

"--"は、無効または解析できない応答を示します。

オープンループとクローズドループにおけるモーションプランニング

Qwen-Drive-1.0 は、オープンループおよびクローズドループの設定の両方で、モーションプランニングにおいて優れたパフォーマンスを発揮しています。学習はすべて公開データに基づいて行われ、合計 283 万サンプルを使用しました。各データセットで注釈スタイルが異なるため、安定した 5 秒間の軌道予測を 10 Hz で実行できるよう、軌道フォーマットを統一しています。

AutoVLA と SimWAM は、各データセットに対して個別のモデルを訓練しています。

SFT カラムは、計画推論を条件付けた Qwen-Drive-1.0-SFT の結果を示しています。IL は模倣学習（Imitation Learning）を指します。-- は、該当するベンチマークで結果が報告されていないことを意味します。

次のステップについて

Qwen-Drive-1.0 を、自動運転向けのビジョン・ランゲージ基盤モデルに向けた最初の歩みと捉えています。具体的には、BEV（Bird's Eye View）知覚ヘッドを明示的で検証可能な 3D プロブとして導入し、フローマッチングを通じて将来の自車軌道（ego trajectories）を生成するプランニングエキスパートを実装しました。段階的なトレーニングにより、汎用 VLM の自動運転能力を大幅に向上させました。このアプローチは、3D 知覚、運転に関する視覚的質問応答、そして運動計画という 3 つの領域で有効性を検証し、運転シナリオへの適応を可能にする次世代 VLM ベースとなる統合された運転ビジョン・ランゲージモデルを構築しました。ただし、テキストによる推論と生成された軌道の整合性については、さらに強化が必要であり、これは今後の研究課題として残されています。

引用

@misc{zhou2026qwendrive10initialstepvisionlanguage,      title={Qwen-Drive-1.0: An Initial Step towards a Vision-Language Foundation Model for Autonomous Driving},      author={Xin Zhou and Zongchuang Zhao and Zhibo Yang and Mingsheng Li and Humen Zhong and Shuai Bai and Du Chu and Ruizhe Chen and Zhaohai Li and Jun Tang and Qiuyue Wang and Mingkun Yang and Jiazhao Zhang and Dayiheng Liu and Dingkang Liang and Xiang Bai},      year={2026},      eprint={2609.00111},      archivePrefix={arXiv},      primaryClass={cs.CV},      url={https://arxiv.org/abs/2609.00111},}