AI の不確実性に関する数学的解明

AI に「自己懐疑」を：不確実性を理解する真の知能とは

現在の生成AIは、たとえ間違った回答でも絶対的な自信を持って提示する傾向があります。しかし、真の知能の本質は「正解を出すこと」ではなく、「未知の状況において自身の限界を理解し、慎重に判断を下すこと」にあります。

Google DeepMind の首席研究員でありケンブリッジ大学教授であるズビン・ガラムマニ氏は、AI に欠けているのは計算能力ではなく「不確実性の数学的表現」であると指摘します。本記事では、なぜ AI に自己懐疑が必要なのか、そしてそれが社会にどのような影響を与えるのかを解説します。

知能の本質は「不確実性」との付き合い方

ガラムマニ氏によれば、生物からロボットまで、あらゆる知能システムにとって最も重要な機能は意思決定です。しかし、現実世界で意思決定を行う際、私たちは常に不完全な情報の中で判断を迫られます。

「完全な知識を持つことは不可能です。感覚器官からの情報は限られており、未来を完全に予測することもできません。したがって、真の知能システムを構築するには、不確実性を表現し、それを更新しながら意思決定できる仕組みが必要なのです」

人間が周囲の世界を認識する際も、あるいは子供が世界を学習する際も、本質的には「不確かな情報に基づいて行動する」というプロセスを経ています。ガラムマニ氏は、認知科学の観点からも、人間の知覚や判断は確率的推論によって成り立っていると説明します。

例えば、コスタリカでハイキング中に葉が揺れる音を立てた時、私たちは進化を通じて得た知識（「そこにはジャガーがいるかもしれない」）と現在の感覚情報を組み合わせ、「危険だ」という判断を下します。これは意識的な計算ではなく、無意識の確率推論によるものです。

2 つの不確実性を区別する重要性

AI が安全に動作するためには、単に「わからない」と言うだけでなく、なぜわからないのかを区別する必要があります。ガラムマニ氏は、不確実性を以下の 2 つのタイプに分類します。

1. エピソード的不確実性（Epistemic Uncertainty）: 世界そのものが持つ固有のランダム性です。例えば、横断歩道を渡る歩行者が左に行くか右に行くかは、予測不可能な偶然の結果です。
2. エピステミック不確実性（Epistemic Uncertainty）: システムの学習不足や未知の状態に対する不確かさです。これは「私がまだ学んでいないこと」によるものです。

この区別は、AI の振る舞いを決定する上で決定的な意味を持ちます。

「エピソード的不確実性（偶然）の場合、予測を諦めて安全策をとるのが適切です。一方、エピステミック不確実性（学習不足）の場合は、情報を収集して不確かさを減らす行動を取るべきです」

自動運転車の例で考えてみましょう。

• エピソード的不確実性のケース: 歩行者が突然横断歩道に飛び出すような予測不能な動きをした場合。これはランダム性なので、AI は「予測できない」と判断し、急ブレーキをかけるなどの安全策をとる必要があります。
• エピステミック不確実性のケース: 自動運転車が訓練データにない「雹（ひょう）の日に馬が車道に出てくる」ような事態に出会った場合。これは「未知の状態」です。AI は自信を持てず、速度を落として状況を把握しようとするべきです。

もし AI がこの違いを理解できなければ、未知の危険に対して過信して事故を起こすか、あるいは単なる偶然に対して過度に反応し続けることになります。

現在の LLM が抱える「過信」の問題

現在の大規模言語モデル（LLM）は、膨大な知識を有している一方で、「正解であること」と「自信を持っていること」が一致していないという重大な欠陥を抱えています。

ガラムマニ氏は、画像認識における「敵対的サンプル（Adversarial Examples）」の例を挙げてこの問題を説明します。人間の目には全く変化が見えないほどわずかなピクセルの改変を加えられただけで、AI は「スクールバス」を「チーター」と99% の確信度で誤判定してしまいます。

「私たちは『正解』だけでなく、『自信』も重要視する必要があります。過信して間違えるシステムや、騙されやすいシステムは信頼できません」

LLM においても同様の現象が見られます。ユーザーが質問すると、AI は根拠なく自信満々に回答し、その後に別の情報を提示されると態度を翻すことがよくあります。

「どんな大規模言語モデルでも、自信を持って回答します。しかし、それが間違っている場合、私たちはシステムを信頼できなくなります。人間に対しても、過信する人は信頼できません。AI にも同様に、自身の知識の限界や不確実性を認識させる仕組みが不可欠です」

計算コストという現実的な壁

理想的な AI は、理論上はすべての不確実性を確率分布として正確に定量化し、最適な意思決定を下すことができます。しかし、ガラムマニ氏はここで「計算コスト」という大きな課題を指摘します。

完全な確率推論を行うには、膨大な計算量が必要となり、その多くは NP 困難級（現実的な時間内に解けない問題のクラス）に分類されます。つまり、理論的には可能でも、現在のハードウェアではリアルタイムで動作させることが極めて困難なのです。

「理想的な不確実性の定量化は数学的に可能ですが、計算量が膨大すぎて現実的な速度で動作しません。そのため、効率的な近似手法の開発が最大の課題となります」

このため、現時点での AI は「完全な確率推論」ではなく、その「近似」に過ぎません。しかし、ガラムマニ氏は、計算コストの問題を解決するまでの間も、不確実性を理解しようとするアプローチの重要性は変わらないと説きます。

過信する AI よりも、謙虚な AI を目指して

ガラムマニ氏の主張は、AI の設計思想を「精度最大化」から「不確実性の管理」へと転換させるべきだという点にあります。特に医療や自動運転など、失敗が許されない高リスク領域では、この考え方が生死を分けます。

「未知の事態に対して『知らない』と認識できる AI は、安全性を担保します。過信する AI よりも、不確実性を理解し謙虚に振る舞う AI の方が、社会にとって有用です」

計算コストの問題が解決されれば、AI は単なる「答えを出す機械」から、「状況に応じて慎重に判断するパートナー」へと進化することでしょう。それは、人間のような自己懐疑を持つ、真の知能への第一歩なのです。