政策決定にはAIの存続危機確率の不確かさは信頼しすぎである

研究者間の合意がないにもかかわらず、政府は AI に起因する存続リスクをどの程度真剣に受け止めるべきでしょうか。一方、存続リスク（x-リスク）は必然的にある程度の推測の域を出ません：具体的な証拠が得られる頃には、すでに手遅れになっている可能性があります。他方、政府は優先順位をつける必要があります—結局のところ、異星人による侵略からの x-リスクについてはあまり心配していないのです。

これは、AI の存続リスクを懸念する政策担当者向けに、根拠に基づいたアプローチを示す一連のエッセイの第一弾です。このアプローチは現実に根ざしつつも、「未知の未知」が存在することを認めるものです。

今回の第一回エッセイでは、一つの種類の証拠、すなわち確率推定値について検討します。AI セーフティコミュニティは、意思決定や政策立案を情報化するために、AI による人類絶滅の確率（特定の期間内）を予測することに大きく依存しています。例えば、数十年間で 10% という推計があれば、明らかに社会にとって最優先事項となるのに十分な高さです。

私たちの中心的な主張は、AI の存続リスクに関する予測は政策に有用であるほど信頼性が低く、実際には極めて誤解を招くものであるということです。

本シリーズの今後のエッセイを受け取るには購読してください。

カーテンの裏側を覗いてみる

もし二人の私たちが、今後十年以内に地球に宇宙人が着陸する確率を 80% と予測した場合、あなたはその可能性を真剣に受け取るでしょうか？もちろん、そうはなりません。あなたは証拠の提示を求めるでしょう。これは明白なように思えるかもしれませんが、AI の存在リスク（x-risk）に関する議論では、確率自体には権威がないという事実が忘れ去られているようです。確率は通常、何らかの根拠のある方法から導き出されるため、定量化されたリスク推計を質的なものよりも有効だと見なす強い認知的バイアスを持っています。しかし、確率が単なる推測に過ぎない可能性も十分にあります。このエッセイ全体を通じて（そしてより広く AI の存在リスクに関する議論において）、これを心に留めておいてください。

ケンタッキーダービーの勝敗確率を予測する場合、理由を示す必要はありません。あなたはそれを受け入れるか拒否するかを選べばよいのです。しかし、政策決定者が予測者が提示した確率に基づいて行動を取る場合、その確率を一般市民に説明できる能力が求められます（そしてその説明は、当然ながら予測者自身からなされなければなりません）。正当性は政府の正統性と権力の行使にとって不可欠です。自由主義民主主義の中核的な原則の一つは、合理的な人々が拒否しうる論争的な信念に基づいて国家が人々の自由を制限してはならないという点にあります。

検討されている政策に多大なコストがかかる場合、説明は特に重要であり、そのコストが利害関係者間で不均衡に配分される場合はなおさらです。良い例として、AI モデルのオープンな公開を制限することが挙げられます。政府は、オープンモデルから恩恵を受ける人々や企業に対し、推測的な将来リスクのためにこの犠牲を負うべきだと説得できるでしょうか？

本論文の主たる目的は、政策議論で引用された特定の x リスク（存在リスク）確率見積もりに正当な根拠が存在するかどうかを分析することです。学問活動としての AI x リスク予測に対して異議を唱えるものではなく、企業やその他の民間の意思決定者にとって有益である可能性もあります。私たちが疑問視するのは、これを公共政策の文脈で使用することのみです。

予言者が懐疑論者を説得しようとする方法は基本的に三つしか知られていません。帰納的、演繹的、および主観的確率推定です。以下でこれらそれぞれを検討します。いずれの方法も、両当事者が世界の基本的な前提（それ自体は証明できない）について合意することを必要とします。三つのアプローチの違いは、その一連の前提から確率見積もりが導き出される経験的および論理的な方法にあります。

参照クラス（reference class）の欠如により、帰納的確率推定は信頼性が低い

リスク推定はほとんどが帰納的であり、過去の観察結果に基づいています。例えば、保険会社は、類似するドライバーに関する過去の事故データを用いて、個人の自動車事故リスクを予測します。確率推定に用いられる観察の集合は「参照クラス」と呼ばれます。自動車保険における適切な参照クラスの例としては、同じ都市に住む運転者の集合が挙げられます。もし分析者が個人についてより多くの情報（年齢や運転する車の種類など）を持っている場合、参照クラスはさらに細分化することができます。

AI による存在リスクについては、他の事例とは全く異なる事象であるため、参照クラスが存在しません。明確に述べるならば、これは「質」の違いではなく「度合い」の問題です。常に明確な「正しい」参照クラスを用いることはできず、実際における参照クラスの選択は分析者の直感に委ねられることになります。

予測の精度は、予測対象となる事象を生成するプロセスと、参照クラス内の事象を生成したプロセスとの類似度の程度に依存し、これはスペクトラムとして捉えることができます。硬貨投げのような物理系の結果を予測する場合、過去の経験は非常に信頼性の高い指針となります。次に、自動車事故については、使用する過去データセットによってリスク推定が例えば 20% 変動する可能性があり、保険会社にとっては十分十分な精度です。

スペクトラムのさらに先には地政学的出来事があり、ここでは参照クラス（reference class）の選択がより曖昧になります。予測の専門家フィリップ・テトルックは次のように説明しています。「ギリシャのユーロ圏離脱（Grexit）は、2015 年までにどの国もユーロ圏を離脱したことがなかったため、独自の事例（sui generis）のように見えたかもしれません。しかし、これは交渉の失敗といった広範な比較クラスの一事例として、あるいは国際協定からの国家の離脱といったより狭いクラスの一事例として、さらに言えば強制通貨換算というさらに狭いクラスの事例としても捉えることができます」。彼はさらに、ソ連崩壊やアラブの春のような一見するとブラック・スワン（Black Swan）事象とされる出来事さえも参照クラスの成員としてモデル化できると考えを擁護し、帰納的推論（inductive reasoning）がこのような種類の出来事に対しても有用であると述べています。

テロックのスペクトラムにおいて、これらの事象は「究極の独自性」を表しています。地政学的な事象に限れば、これは真実かもしれません。しかし、それらの事象でさえも、AI による人類絶滅に比べればはるかに独自性が低いのです。AI の存在リスク（x-risk）に対する参照クラスを探そうとする試みを振り返ってみてください：動物の絶滅（人類絶滅の参照クラスとして）、産業革命のような過去の世界的変革（AI による社会経済的変革の参照クラスとして）、あるいは大量死をもたらす事故（地球規模の壊滅的災害を引き起こす事故の参照クラスとして）。現実を見ましょう。これらはいずれも、超知能 AI の開発やその制御不能化という、AI 存在リスク予測における不確実性の核心的な源泉について、何一つ教えてくれません。

要するに、AI に起因する人類絶滅は、過去に起こったいかなる事象ともあまりにも隔たりが遠く、帰納的推論を用いてその確率を「予測」することは不可能です。もちろん、過去の技術的ブレークスルーや過去の壊滅的事象から質的な洞察を得ることは可能ですが、AI リスクは十分に異なる性質を持つため、政策決定における正当性を担保するために必要な根拠に欠ける定量的見積もりでは不十分です。

理論の欠如により演繹的推論による確率評価は信頼できない

コナン・ドイルの『六人のナポレオン』において（ネタバレ注意！）、シャーロック・ホームズは張り込みを開始する前に、容疑者を逮捕できる確率が正確に 3 分の 2 であると宣言します。これは驚くべきことです—人間の行動に関連する事象に、どのようにして数学的に精密な確率を割り当てることができるのでしょうか？

実はホームズは、容疑者の一見すると不規則に見える観察された行動を生み出した一連の出来事を推論していました：容疑者はロンドン市内およびその周辺で異なる人々が所有するナポレオンの胸像 6 体のいずれかに隠されていると知られている宝石を、体系的に捜索しているのです。詳細はそれほど重要ではありませんが、重要な点は、容疑者も探偵の双方がその宝石がどの胸像にあるのかを知っておらず、容疑者の行動に関する他のすべては（仮定として）完全に予測可能であることです。ゆえに、正確に定量化可能な不確実性が生じます。

ここで言いたいのは、私たちが信頼できる世界のモデルを持っているならば、過去の観察に頼らなくても論理的推論を通じてリスクを見積もることができるということです。もちろん、フィクションのシナリオの外では、世界はそれほど整然としておらず、特に未来を遠く先まで投影しようとする場合にはなおさらです。

x-リスク（人類存続の危機）に関する限り、演繹モデルが存在しないという一般則に対する興味深い例外として小惑星衝突が挙げられます。帰納的かつ演繹的なリスク推定を組み合わせることで、x-リスクの発生確率を見積もることが可能になります。これは純粋に物理的なシステムについて話しているからこそ成り立つことです。この仕組みがどのように機能するかを少し振り返っておきましょう。なぜなら、この手法が他の種類の x-リスクには一般化できないことを認識することが重要だからです。

鍵となるのは、小惑星のサイズ（より正確には衝突エネルギー）と衝突頻度の間の関係をモデル化できるかどうかです。私たちが数千回の小型衝突を観測してきたため、直接観測されたことのない大型衝突の頻度を推論するために外挿を行うことができます。また、地球規模の壊滅的被害を引き起こす閾値も推定可能です。

図：小型小惑星衝突に関するデータ（左側）は、絶滅レベルの衝突（右側）へと外挿することができます。

AI における不確実性は、物理システムではなく技術の進展やガバナンスに関わるものであるため、それを数学的にモデル化する方法は明確ではありません。それでも、人々は試みています。例えば、仮想的な AGI の計算要件を予測するために、いくつかの研究では、AI システムが人間の脳とほぼ同等の計算量を必要とするという前提に立ち、さらに人間の脳が必要とする計算量の数についても仮定を立てています。これらの仮定は小惑星モデルに関わるものよりもはるかに脆弱であり、これらすべてが制御喪失の問題にさえ取り組んでいるわけではありません。

主観的確率は数字に着飾った感情である

参照クラスや根拠のある理論がない場合、予測は必然的に「主観的確率」、つまり予測者の判断に基づく推測となります。驚くべきことではありませんが、これらは桁違いに異なります。

主観的な確率推定は、確率推定に対して帰納的または演繹的な根拠のいずれかを有する必要性を回避するものではありません。それは単に予測者がその推論を説明する必要を避けるだけです。説明が困難になるのは、人間の直感的推論（帰納的、演繹的、あるいはその組み合わせ）を説明する能力に限界があるためです。本質的に、これは予測者に「方法を示していないが、私の実績に基づいてこの推定を信頼してほしい」と言わせることを可能にします（次節で、なぜこれが AI 存在リスクの予測においても機能しなくなるのかを説明します）。しかし究極的には、帰納的または演繹的な根拠のいずれも欠いている場合、予測者ができることは単に数字をでっち上げるだけであり、そのでっち上げられた数字はバラバラです。

2022 年後半に予測研究研究所（Forecasting Research Institute）によって実施された「存在リスク説得トーナメント（Existential Risk Persuasion Tournament：XPT）」を想像してみてください。これはこれまでに実施された中で最も精巧かつ実行の行き届いた存在リスク予測演習であると私どもは考えています。この演習には、AI 専門家や予測専門家（図中の「スーパーフォアキャスター」）など、さまざまなグループの予測者が参加しました。AI 専門家の間では、2100 年までの AI による人類絶滅リスクに関する推定値の上限（75 パーセンタイル）は 12%、中央値は 3%、下限（25 パーセンタイル）は 0.25% です。一方、予測専門家の間では、上限（75 パーセンタイル）でもわずか 1% に過ぎず、中央値は単なる 0.38%、下限（25 パーセンタイル）に至ってはグラフ上ではゼロと視覚的に区別がつかないほどです。つまり、AI 専門家の 75 パーセンタイル予測とスーパーフォアキャスターの 25 パーセンタイル予測は、少なくとも 100 倍もの差があるのです。

これらの推定値すべては、このトピックについて深い専門知識を持つ人々によってなされたものであり、彼らは数ヶ月にわたるトーナメントに参加し、互いに説得を試みました。もしここでの予測の幅が極端すぎるように思えないなら、この一連の演習は単一のグループによってある特定の時点で実施されたものであることを忘れないでください。もし今日同じトーナメントを繰り返したり、質問の枠組みを変えたりすれば、異なる数値が得られる可能性もあります。

最も示唆に富むのは、予測者が報告書に詳細に記載されている根拠を検討することです。彼らは定量的モデルを用いておらず、特に強力な AI が開発された場合の悪い結果の発生確率について考える際にも同様です。大部分の予測者は、一般の人々がスーパーインテリジェント AI について議論する際に同様の推測を行っています。AI はシステム運用者に対する超人的な説得を通じて重要システムを乗っ取るかもしれないし、コンピュータがより速く動作するために地球の気温を下げることを目指してしまい、結果として人類を偶然に絶滅させるかもしれません。あるいは、AI は地球ではなく宇宙で資源を探そうとするため、私たちはそれほど心配する必要がないかもしれません。このような推測自体に問題はありません。しかし、AI の存在リスク（x-risk）に関しては、予測者が自分たちの直感をあなたや私、あるいは他の誰かのそれよりも信頼性のあるものにするような特別な知識、証拠、またはモデルを用いているわけではないことを明確にしておく必要があります。

「スーパーフォアキャスティング」という用語は、フィリップ・テトルックの 20 年間にわたる予測に関する研究（彼は XPT の組織者の一人でもありました）に由来します。スーパーフォアキャスターたちは、多様な情報を統合したり心理的バイアスを最小化したりするなどの手法を習得しており、これらは予測を改善するために訓練されています。これらの手法は地政学などの分野で効果があることが示されています。しかし、利用可能な有用な証拠がほとんどない場合、いかなる訓練も良い予測につながることはありません。

予測者が信頼できる定量的モデルを持っていたとしても（実際には持っていない）、彼らは「未知の未知」、つまりモデル自体が間違っている可能性を考慮しなければならない。x リスク哲学者ニック・ボストロムが指摘しているように、「リスクに対する我々の一次評価の不確実性と誤りやすさそのものも、総合的な確率割り当てに織り込む必要がある要素である。この要因は、低確率かつ高影響のリスク、特に理解されていない自然現象や複雑な社会動態、新技術に関わるもの、あるいは他の理由で評価が困難な事象において支配的となることが多い。」

これは妥当な視点であり、AI x リスク予測者もリスク評価の不確実性について非常に懸念している。しかし、この原則に従う人々にとっての帰結として、彼らの予測はモデルからの出力ではなく、単なる推測であることが保証されることになる。なぜなら、モデル自体が間違っている確率や、もしモデルが間違っていた場合のリスクを推定するためにモデルを使用することはできないからである。

予測スキルは、ユニークまたは稀な事象においては測定することができない

要約すると、主観的な AI リスク予測は桁違いにばらついています。しかし、予測者の実績を測定できれば、どの予測者を信頼すべきかを判断できるかもしれません。リスク推定を正当化するための前二つのアプローチ（帰納的・演繹的）とは対照的に、この手法では予測者が自身の推計理由を説明する必要はなく、過去の他の事象を予測する際の証明されたスキルに基づいて正当化すればよいのです。

これは地政学的イベントの分野で極めて貴重なものとなり、予測コミュニティはスキル測定に多くの労力を費やしています。キャリブレーション、ブリアー・スコア、対数スコア、あるいは予測競争ウェブサイト「Metaculus」で使用されるピア・スコアなど、予測スキルを評価する方法は多数存在します。

しかし、どの手法を用いるかにかかわらず、存在リスクに関する主観的確率の予測スキルを評価する際には多くの障壁があります。すなわち、参照クラス（reference class）の欠如、低いベースレート（base rate）、そして長い時間軸です。これらそれぞれについて順に見ていきましょう。

参照クラスの問題は予測者だけでなく評価者も悩ませます。先ほどの宇宙人の着陸例に戻りましょう。選挙の予言において高い精度を示してきた予測者が、証拠もなく「1 年以内に地球に宇宙人が着陸する」と発表したと仮定します。この予測者の実証された能力にもかかわらず、私たちは宇宙人の着陸に関する信念を更新しません。なぜなら、それは選挙の予言とはあまりにも異質であり、その予測者の能力が一般化すると期待できないからです。同様に、AI の存在リスク（x-risk）はこれまでに予測されたいかなる過去の出来事ともあまりにも異質であるため、AI の存在リスクを推定する上で予測者の能力を示す証拠は何もありません。

たとえ参照クラスの問題を何らかの形で排除できたとしても、他の問題は残ります。特に、絶滅リスクは「テールリスク」、つまり稀な事象によって生じるリスクであるという事実です。予測者 A が AI による存在リスク（x-risk）の確率を 1% と見積もり、予測者 B がそれを 100 万分の 1 と見積もった場合、どちらの予測により信頼を置くべきでしょうか？彼らの実績記録を確認することができます。例えば、AI による存在リスクに 1% の確率を付与した予測者 A の方が実績が良いことが分かったとしましょう。それでもなお、A の予測により信頼を置くべきだとは限りません。なぜなら、技能評価はテールリスクの過大評価に対して感度が低いためです。つまり、A は日常的に発生する可能性が substantial な事象については B よりもわずかに較正（calibration）が優れているため総合スコアが高くなる一方で、100 万分の 1 のような稀にしか発生しないテールリスクを桁違いに過大評価している可能性があります。このようなタイプの較正誤りを十分に罰するスコアリングルールは存在しません。

これはなぜそう言えるのかを示す思考実験です。予測者 F と G がそれぞれ異なる 2 つのイベントセットを予測すると仮定しましょう。そして、両方のセットに含まれるイベントの「真の」確率はすべて 0 から 1 の間で一様分布しているとします。非常に楽観的に、F と G の両方が自分が予測するすべてのイベント e についてその真の確率 P[e] を知っているものと仮定します。F は常に P[e] を出力しますが、G はわずかに保守的で、1% より小さい値を予測することは決してありません。つまり、G は P[e] が 1% 以上の場合に P[e] を出力し、それ以外の場合は 1% を出力します。

構成上、F の方が優れた予測者です。しかし、そのことは実績記録から明らかになるでしょうか？言い換えれば、F が G よりも高いスコアを獲得する確率が 95% となるためには、両者の予測をそれぞれどれほど多く評価する必要がありますか？対数スコア則（logarithmic scoring rule）を用いた場合、それは約 1 億件のオーダーになります。一方、ブリアー・スコア（Brier score）を用いると、その数は約 1 兆件のオーダーに達します。2 ここで仮定について細かく議論することは可能ですが、要点は、予測者が体系的にテールリスク（tail risk：極端な事象の発生確率）を過大評価している場合、それは単に経験的に検出不可能であるということです。

予測者の x リスク予測スキルを評価するための最終的な障壁は、長期予測の評価に時間がかかりすぎる点（そして絶滅予測は当然ながら評価不可能である）にあります。これは潜在的に克服できる可能性があります。研究者らは相互スコアリングと呼ばれる手法を開発しました。これは予測者が互いの予測をいかに正確に予測したかに基づいて報酬を得るというものであり、COVID-19 政策の影響予測などの実際の現場で検証されています。これらの現場では、相互スコアリングは従来のスコアリング手法と同等の精度を持つ予測結果をもたらしました。まあ妥当な話です。しかし、相互スコアリングは参照クラス問題やテールリスク問題を回避する手段ではありません。

我々の議論の要約