Hugging Face、自動運転向けビジョン言語モデル「Qwen-Drive-1.0」を発表

私たちは、自動運転のためのビジョン・ランゲージ基盤モデル（VLM）への第一歩として「Qwen-Drive-1.0」を発表します。このモデルは、事前学習済み VLM のアーキテクチャを維持しつつ、3D 知覚、視覚的質問応答、そして運動計画を一つの統合フレームワークに組み込みました。

外部の鳥瞰図（BEV）知覚ヘッドが、3D オブジェクト検出、セマンティック占拠予測、および BEV マップ分割を同時に実行します。これは共有表現からアクセス可能な 3D 情報を検証するプローブとして機能し、3D シーン構造に対する明確で検査可能なインターフェースを提供します。

プランニング・エキスパートは、共有 VLM の表現に基づいて未来の自車両軌道を生成します。

段階的なトレーニング手法により、運転に特化した能力を獲得しつつも、広範な視覚的理解や指示従順能力を維持しています。実験結果では、3D 知覚と運転シーン理解において優れた性能を示し、一般的なビジョン・ランゲージ能力の大部分も保持されていることが確認できました。

オープンループ、疑似クローズドループ、そしてクローズドループという多様な評価設定における包括的な検証により、運動計画のパフォーマンスが非常に競争力があることも明らかになりました。