Motional と MIT、自動運転の意思決定を説明するシステムを開発

Motional と MIT の研究者らが、自動運転車がその判断をリアルタイムで説明できるシステムを開発しました。これは、自律走行車の AI が抱える「ブラックボックス問題」への取り組みです。

Nature に掲載されたこの研究成果は、CEO のローラ・メイジャーを含む Motional チームと、MIT コンピュータサイエンスおよび人工知能研究所（CSAIL）の研究者らが共同で成し遂げたものです。彼らが提案する手法「Concept-Wrapper Network（CW-Net）」は、自動運転システムのニューラルネットワーク内部で行われている計算を、人間が実際に読み取れる概念へと変換することを目指しています。

もし現在走行中の自動運転車が、明確な危険がない晴れた道路で急ブレーキを踏んだ場合、ドライバーも同乗者も、なぜその判断を下したのかを知る術がありません。現代の自動運転システムは、膨大な量の走行データで訓練されたニューラルネットワークに依存する傾向が強まっています。これらのネットワークは高い性能を発揮しますが、その推論過程を外部に開示しないため、エンジニアたちはこれを「ブラックボックス」と呼んでいます。

ニューラルネットワークのロジックを人間が理解できる概念へ変換する

CW-Net は、自動運転システムの内部ロジックを、「接近中の停止車両」や「自転車乗車者との距離が近い」といった概念に変換します。Motional によると、これらの概念はダッシュボード上に表示され、車両の走行判断にどの要素が影響しているかをリアルタイムで示すことが可能です。

このシステムは、事後にネットワークが何をしたかを推測して説明を生成するのではなく、設計されています。むしろ、車両の最終的な意思決定システムは、これらの人間が解釈可能な概念に基づいて直接行動を起こすため、ブレーキイベントはそれをトリガーした特定の概念へと遡ることができます。Motional はこれを「因果的に忠実（causally faithful）」と表現し、自然言語の説明を生成するアプローチとは区別しています。後者のアプローチでは、説明が論理的に聞こえても必ずしも正確であるとは限りません。

Laura Major は、この種の解釈可能性の必要性について、運転決定を完全にエンドツーエンドのディープラーニングに任せるという対案と対比させて語っています。

「一般的なエンドツーエンドのみアプローチでは、80〜90%、場合によっては 95% という非常に優れたソリューションに到達できるかもしれませんが、ドライバーを排除したり、都市やコミュニティ、顧客からの信頼を得たりするには不十分です」と彼女は述べています。

ラスベガス周辺で自動運転車の説明可能 AI をテスト

Motional によると、説明可能 AI の研究は主に実験室のコンピュータシミュレーションに限定されてきました。しかし、Motional と MIT のチームは、CW-Net を熟練した安全オペレーターが運転席に着いた自動運転車に搭載し、ラスベガス周辺の専用テストコースと公道でデータを収集しました。

研究チームは、深層学習に基づく計画システムの早期実験版を使用しました。このシステムは競争力のある性能を示す一方で、CW-Net によって顕在化される可能性のある重大な欠陥も抱えていました。

テスト中に発生した2つの事例が、このシステムが検出した問題の具体例です。

1 つ目の事例では、自律走行車が交通コーンの近くで繰り返し停止しました。車両オペレーターはコーン自体が原因だと考えていましたが、研究者がコーンを撤去しても車は依然として停止しました。CW-Net の表示画面には真の原因が示されました。実験中の計画システムが前方に停止した車両を幻覚（ハルシネーション）しており、そのパターンは学習データに由来するものでした。この説明によって、研究チームは問題を理解し、予測し、解決策を見出すことができました。

2 つ目の事例では自転車乗員が関与していました。自律走行車は予想通り自転車を検知して停止しましたが、CW-Net は実験中の計画システムがその決定を自転車乗員の存在に基づいて行っていなかったことを明らかにしました。この事実を知った安全運転手は、以降の走行で自転車乗員に対してより一層注意を払うようになりました。その後の分析により、この慎重な対応が妥当であったことが確認されました。なぜなら、その時の制動は実験中の深層学習ベースのプランナーによるものではなく、安全バックアップシステムによって行われたものだったからです。

説明可能性に対する性能は安定して維持されました

AI システムに説明可能性の層を追加することは、速度や性能において既知のコストを伴います。Motional はこのリスクを認識しています。しかし、研究者が CW-Net を主要な自動運転アルゴリズムと比較したベンチマークでは、運転能力における差は 1% 未満にとどまりました。

ラスベガスでの出来事は、なぜこのトレードオフが学術的な議論だけでなく、実際の運用において重要なのかを示しています。停止の理由が幻覚によって引き起こされたものか、あるいは主要なプランナーではなくバックアップシステムが maneuver を担当しているのかを安全ドライバーが見ることができれば、行動のみから推測するよりもはるかに正確に対応し、報告することができます。

この可視性は、エンジニアリングチームがシステムを診断する速度や、安全オペレーターが意図された動作と故障を見分ける自信に直接影響します。

Motional は、CW-Net の取り組みが自動運転車の運用者に対する広範な圧力と結びついていると指摘しています。技術が新たな市場や管轄区域へと拡大するにつれて、規制当局は AI システムがどのように意思決定を下すのかについて、より透明性を求めています。Motional は CW-Net などのツールが研究プロジェクトから標準的な要件へと移行する可能性があると期待しています。

乗用車を超えて、自律型ドローンやロボット手術など、オペレーターや開発者がシステムの能力、制限、予期せぬ動作を理解できる手段を必要とする他の安全上重要な分野も挙げられています。

アムステルダム、ロンドン、北米で開催された「Physical AI Expo」で、物理的AIについて詳しく学ぶことができます。

関連記事：MIT AI、歴史データなしで極端な気象を予測

本ニュースはTechForge Mediaによって運営されています。その他の企業向け技術イベントやウェビナーはこちらでご確認ください。

「Motional と MIT AI が自動運転車の判断を解説」という記事は、AI News で最初にお伝えしました。