MIT と Motional、自動運転車の誤動作予測支援システムを開発

自動運転車は、時として予期せぬ状況で失敗する深層学習モデルによって制御されています。例えば、車両が理由もなく急ブレーキを踏み、対向する救急車の進路を塞いでしまうケースもあります。そのような場合、人間が搭乗しているドライバーや乗客は、衝突を防ぐために即座に反応する必要があります。

人間が自動車のミスをより正確に予測できるよう支援するため、MIT と自律走行車技術企業「Motional」の研究者たちは、モデルの判断根拠を明確に説明する新しい手法を開発しました。

通常、深層学習モデルの内部推論プロセスはブラックボックス化しており、理解することが困難です。しかし、今回開発された「Concept-Wrapper Network（CW-Net）」という手法は、運転性能を損なうことなく、自律走行車の判断を忠実に記述する概念に変換します。

CW-Net は、「停止車両に接近中」や「自転車乗員に近い」といった、人間が理解しやすい概念を用いて、機械学習ベースのプランナーによる判断を説明します。これらの解説は、ドライバーや乗客が抱きがちな誤解を解消し、周囲の状況把握能力を向上させる効果があります。

プライベートなテストコースでの走行試験では、CW-Net の説明が安全運転士に対し車両の挙動をより正確に予測させるのに役立ちました。また、一般ユーザーを対象とした大規模なシミュレーション研究でも同様の結果が得られています。これらの実験は、エンジニアが車載人工知能システムのトラブルシューティングを行う際に CW-Net が重要なフィードバックを提供できることを示しています。長期的には、この技術により自動運転車の安全性と透明性が向上し、運転手や乗客の間に適切な信頼関係が築かれることが期待されます。

「本研究は、説明が人間のシステム理解や行動予測のメンタルモデルをどのように支援するかを示すとともに、技術改善のためにエンジニアリングや開発プロセスでどう活用できるかを明らかにしたものです」と語るのは、MIT航空宇宙工学科教授であり、コンピュータ科学・人工知能研究所（CSAIL）インタラクティブロボットグループのディレクターでもあるジュリー・シャ氏です。同氏は CW-Net の論文の共同筆頭著者でもあります。「これらの技術を、信頼でき予測可能な形で構築しない限り、その利用は不安定で危険な基盤の上に成り立つことになります。」

この論文の共著者には、元 MIT ポストドクターで現在は J.P. モーガン・チェースのシニア AI リサーチャーである Eoin Kenny 氏（筆頭著者）、Motional のスタッフ研究科学者であり共同上級著者の Momchil Tomov 氏、そして Motional チームの Akshay Dharmavaram、Sang Uk Lee、Tung Phan-Minh、Shreyas Rajesh、Yunqing Hu、さらに Motional の社長兼 CEO の Laura Major が名を連ねています。本研究は本日、『Nature』誌に掲載されました。

忠実な説明

機械学習に基づくプランナーは、自動運転車の「脳」として機能します。これらの強力な深層学習アーキテクチャは、車両のカメラや LiDAR センサーからのデータを処理し、周囲環境の高レベルな要約を生成。次に、車が次に取るべき行動を決定し、追従すべき軌道（トラジェクトリ）を出力します。

しかし、プランナーは通常ブラックボックスモデルです。内部の意思決定プロセスがあまりにも複雑で、その仕組みを理解することが困難なのです。このため、科学者や安全運転担当者は、自動車がなぜ予期せぬ判断を下したのか（例えば、見えないブレーキのような現象）という理由について、十分な洞察を得られないままになります。

そこで研究者たちは、CW-Net を設計しました。これは、車両の意思決定を人間が理解できる概念を用いて説明する一方で、その説明が行動の真の原因を正確に反映していることを保証するものです。

特に自動運転車のような重要な場面では、説明が誤解を招くものであってはなりません。CW-Net は意思決定のプロセスにおいて因果関係に忠実であるため、その説明には一定の保証が生まれます。これは Kenny 氏の指摘です。

CW-Net は「概念分類器」であり、入力データ内に存在する高レベルな概念を予測するように訓練された AI アルゴリズムです。研究チームは、この CW-Net モジュールを既存の自動運転車の機械学習プランナーアーキテクチャの中央に組み込みました。

これは、モデルの内部推論プロセスを「停止車両に接近中」や「自転車乗者に近接」といった理解しやすい概念に変換します。そして、最終的なプランニングモデルが次に取るべき行動を決定する際、これらの概念の使用を強制します。このようにして CW-Net は、自動運転車の行動を概念が忠実に説明することを保証します。

同時に、CW-Net は分類した概念を用いて、車両の軌道データとともにリアルタイムで出力される明確な説明も生成します。

「なぜ車が停止したのかと単に疑問を持つのではなく、リアルタイムデータを提供することで、展開中のシステムをテストできるフィードバックが得られます。また、このデータをエンジニアに提供すれば、システムの改善につながる可能性もあります」と Kenny 氏は述べています。

研究チームは、自動運転車のシーンからなる 1 億 3000 万例のデータセットを用いて CW-Net を訓練し、各シーンに複数のラベル付き概念が含まれるようにしました。このような大規模でラベル付けされたデータセットを活用することで、CW-Net は幅広い状況下でも正確に概念を特定できます。

また、車両のパフォーマンスに悪影響を与えないよう、CW-Net は機械学習ベースのプランナーが下す運転判断を模倣するように設計されています。

その結果、CW-Net は元の深層学習モデルを変更することなく、正確で理解しやすい説明を生成します。

状況認識の向上

CW-Net の検証のため、研究チームは安全ドライバーを乗せた実際の自動運転テスト車両（Motional のロボタクシー）にこのモジュールを搭載し、専用コースでテストを行いました。その結果、CW-Net は安全ドライバーが予期せぬ状況における車両の挙動をより正確に予測できるよう支援することが明らかになりました。

例えば、車両はサイクリストに近づくと一貫して停止します。当初、安全ドライバーはこの動作を検知したからだと考えていました。しかし、CW-Net が生成した説明によると、モデルは実際にはサイクリストを正しく検出するよう設定されておらず、衝突を引き起こす可能性のある経路を選択しようとしていたことが判明しました。車両が停止したのは、近づく際に緊急ブレーキ手順が作動したためでした。

このようにモデルの誤りに関する情報を得られれば、安全運転担当者は同様の状況でより早く速度を落としたり、手動運転モードに切り替えたりできるようになります。また、エンジニアが将来このような失敗を防ぐためにモデルを修正する際にも役立ちます。

ラスベガスの道路で撮影された実際の走行状況を組み込んだ大規模なオンラインシミュレーション研究でも、同様の結果が得られました。CW-Net による説明は、参加者が自律型車両の挙動を予測する能力を大幅に向上させました。

今後は、研究者たちが CW-Net を拡張し、より多くの概念をカバーできるようにしたり、性能や解釈可能性を高めるための異なる学習手法や設計技法を探求したりすることが期待されます。

「本研究は、こうした高リスクな環境において説明可能性がいかに重要であるかを示すものです。また、今後 AI を開発する際、自動運転車やその他の安全性が極めて重要な環境に関わる人々にとって、説明可能性を常に念頭に置くべきだと示しています」とケニー氏は述べています。