AI のリスクには特別な政府の介入が必要か？

最近のエッセイにおいて、デレク・トンプソンは「AI を通常の技術（AINT）として捉える」議論に取り組んでいます。彼は、我々の仮説である AI の労働市場への影響が緩やかである点に同意しており、その根拠として、これまでの GDP 成長率が平均的であり、失業率は 5% を下回っており、自動化によって脆弱に見える職種でさえ雇用と賃金が上昇している事実を挙げています。彼は結論として、これまでに示されたマクロ経済の状況は、「通常の」汎用技術から我々が予想するものと整合していると述べています。

しかし、AI のリスクに関しては、彼の見方ははるかに悲観的です。彼はサイバーおよびバイオ関連のリスクの事例を指摘し、AI が多くの新たな分野で急速に危険になることに対して楽観視していません。彼は、AI の創発的（emergent）能力がそれを過去の技術と根本的に異ならせるものであり、この違いが企業へのリリース制限を含む「並外れた」政府対応を正当化するものであると主張しています。

本エッセイでは、新しい技術に対する政府の「並外れた」介入の欠点について論じます。また、そのような介入を必要とせずにレジリエンス（resilience）を高めるための提案についても議論します。さらに、なぜ政府がこれまでレジリエンスへの投資に消極的であったのかについても考察します。要するに、レジリエンスを構築するには、政策決定の*通常の*プロセスをより良くしていく必要があります。しかし、連邦政府における硬直化と、社会全体よりも AI 企業に対する介入を正当化しやすい状況が、その限界にもかかわらず「並外れた」介入を魅力的に見せているのです。

次に何が起きるのか？政策決定者は、レジリエンスの向上に巨額の投資を行うなどして自らの行動を整理するか、あるいは AI の非拡散など、より負担が大きく効果も低い非常措置を余儀なくされるかの二者択一となる。

非拡散（nonproliferation）は単一のボトルネックに依存するため脆く、レジリエンスは社会全体に防御を分散させる。

AINT の主張とトンプソンの合意・相違点の要約

多くの人が、AI を通常の技術として捉える（AI as Normal Technology）という枠組みは AI の経済的影響を考える上で有用である一方、安全性に関する我々の見解には懐疑的だと考えている。トンプソンもその一人だ。AINT 論文では、労働市場への緩やかな影響や悪用リスクに対するレジリエンスについて、異なる主張を行っている。

労働市場に関する議論は、普及の速度に依存している。新しい AI の能力とその経済的影響の間には、製品の開発、組織ワークフローの変更、規制への対応など、多くの速度制限が存在する。この視点は、急速かつ広範な雇用喪失（例えば、アモダイ氏による差し迫ったホワイトカラーの大虐殺に関する主張）が実現しにくい理由を理解するのに役立ち、また AI の有益な導入を妨げる可能性のある普及のボトルネックを特定するためにも有用である。

しかし、AI の悪用リスクに関する私たちの議論は、攻撃と防御のバランスに依存しています。つまり、特定の能力において攻撃側か防御側のどちらがより恩恵を受けるのか、そして悪用リスクに対応してレジリエンスを構築する我々の能力がどうなるかです。注目すべき点は、攻撃者が有害な影響を与えるために組織的な採用という遅いプロセスを経る必要がないということです。私たちは、社会的レジリエンスを構築して悪用リスクに対処し、AI のリスクを低減するために取るべき多くの介入策を特定することを主張しています。

ここでトンプソンは私たちに反対します。その理由の一つは、すべての汎用技術が新しいリスクをもたらすものであり、それらは過去のパターンから推論することが難しいからです。しかし、トンプソンは、汎用技術の歴史においてさえ、AI は開発者自身にとっても未知で突発的なリスクがあるため、「異常」であるように見えると主張します。そしてこれは、政府が AI を異常な技術として扱い、「あまりにも危険であるという理由で民間企業が製品やサービスを販売することを防ぐために、特別な規制を創設するよう政府に強制する」という計画を正当化するものです。

トンプソンは「特別な政府行動」が何を意味するのかを正確には定義しておらず、彼が想定する具体的な介入策もやや不明確です。私たちはそのような介入策に反対して議論を行うため、「特別な介入」という用語について私たちが何を意味しているのかを明確にしたいと考えています。私たちは、特別な介入を、AI だけでなくあらゆる強力な技術に適用される3つの要因によって定義されるスペクトラムとして捉えています。

まず、並外れた介入は予防的な傾向があります。これらは実現したあるいは実証された害ではなく、予測される害に基づいて活動を制限します。これは予防が常に不要という意味ではありませんが、害が生じるという明確な証拠（あるいは私たちが予測する通りに生じるという証拠）がないまま活動が制限されるため、その正当化はより強固である必要があります。それでもなお、リスクに対処しつつより制限の少ない代替手段（例えばレジリエンスへの投資など）が存在する場合、介入はさらに並外れたものとなります。

第二に、並外れた介入は、問題となる害に対して直接責任を負っていないアクターの自由を制限します。政府が AI 企業がリリースできるものを制限する際、負担がかかるのは害を引き起こす悪意のあるアクターではなく、原則として誤用される可能性があるツールを開発する企業です。これは特にデュアルユース技術において顕著です。これらのツールには広範な有益な応用があるため、少数の悪意あるアクターの誤用を防ぐために企業に対する制限が課されると、より広い一般公衆による有益なアクセスが阻害される恐れがあります。

第三に、並外れた介入は通常のガバナンスプロセスを迂回し、民主的な説明責任の下で自由への制限が行われることを保証するために存在するプロセスを無視して、緊急宣言や大統領令などの一方的権限に依存します。

介入がこれら3つの基準すべてを満たす必要はない。しかし、これらの要因がどれほど多く存在するかによって、それを正当化するためのハードルはより高くなるべきである。

政府による異常な介入は異常にコストがかかる

AI が悪用のリスクを伴うことは我々も同意する。しかし、「異常」な技術を規制してきた経験から、政府による異常な介入がいかに負担となるかがわかる。核不拡散の執行には、IAEA（国際原子力機関）、核不拡散条約、数十年にわたる外交交渉、継続的な投資、さらには軍事対立さえも必要であった。これらの介入のコストは莫大だったが、そのアプローチが少なくともある程度実行可能だったのは、核兵器が濃縮ウランに依存しており、これは実際に回避するのが非常に困難な物理的なボトルネックだからである。

AI は核兵器とは異なる。まず、同等の「物理的」なボトルネックが存在しない。AI システムを構築するための核心的技術はすでに広く知られている。敵対者（特に国家主体）は数ヶ月で最先端の能力に追いつくことができる。AI に対する不拡散体制は常に侵食されることに直面するだろう。

この課題に直面し、政府はどのように非拡散を維持できるでしょうか？提案されている介入のいくつか、例えば AI 企業が事前評価のための自主的コミットメントに関する rumored な大統領令などは、異常な介入のスケールにおいては比較的軽微です。適切に行われれば、これらは新たな能力に対する防御側の準備時間を増やすことで、攻防バランスを防御側に傾けることを可能にします。

米国はまた、半導体に対する輸出規制も施行しています。これは控えめな介入であると私たちは考えます：各国はイノベーションにおける優位性を維持するために通常、敏感な商品の輸出を制限しており、どこで線を引くべきかについては合理的な人々でも意見が分かれるでしょう。しかし、危険な能力が広く利用可能になるのを防ぐという点では、輸出規制ははるかに効果的ではありません。オープンウェイトモデルとフロンティア研究所からの広範な API アクセスにより、フロンティアの能力と一般に利用可能な能力との間のギャップは最長でも数ヶ月であり、数年ではありません。

非拡散が私たちに買えるものがせいぜい数ヶ月であるならば、最も緊急の優先事項は、これらの能力が必然的に広く利用可能になった際に備えてレジリエンス（回復力）への投資を行うことです。これは以下で議論する通りです。一方、政府が高度な AI 能力の悪用を防止するために非拡散を維持しようとする場合、その介入は必然的により厳しく要求されることになります。

真に非拡散を執行するためには、政府はオープンウェイトモデルへのアクセスや、能力のあるモデルに対する API アクセスさえも制限する必要が生じます。これには、どのモデルがリリースされるかについて政府が継続的な権限を持つライセンス制度と、オープンウェイトモデルに対する制限が必要となります。私たちはすぐに、政府がどのような AI 研究や製品を公に共有できるかを統制する状態に入り込む可能性があります。実際、すでにそのような統制の懸念すべき事例が見られています。例えば、Anthropic がサプライチェーンリスクとして指定されたことや、AI 企業に対するライセンス要件に関する最近の噂などが挙げられます。

この滑り台を回避するためには、特別な介入を提案する人々は、どこで線を引くのかを明確にする必要があります。オープンウェイトモデルへの制限を支持するのでしょうか？それとも、新しいモデルのリリースごとに承認を求めることや、国境を越えてフロンティア AI を構築する研究者の移動に対する制限を支持するのでしょうか？提唱者が彼らが求めているものの限界を特定できない場合、能力が進展するにつれて政府が一方的な行動をとる能力を増大させるという要求は、エスカレートし続けることが合理的に予想されます。

核兵器の場合、不拡散体制が構築された後は、数年ごとに再構築する必要はありませんでした。しかし、AI は強力なデュアルユース特性を持つ最後のデジタル技術ではありません。新しい技術は同様の疑問を提起し、類似またはエスカレートする対応を潜在的に要求します。したがって、AI を規制するための「異常技術」枠組みは、特定のリスクに対する標的型対応というよりは、市民や企業が構築・公開・研究できることに対する政府権限の恒久的な拡大のように見え始めています。

私たちはこの議論が以前にも展開されたのを見てきました。新しい技術ごとに、危害を軽減するためにどのような自由への制限が適切かという問いが生じます。この歴史は、自動的に特別な政府介入を課すことにデフォルトすべきではないことを教えてくれます。

インターネットは人々が爆弾の作り方に関する情報にアクセスすることを可能にし、1995 年のオクラホマシティ爆破事件の後、故人のフェインスタイン上院議員は、最初の草案ではインターネット上で爆弾製造材料やプロセスを説明するいかなる情報の配布も犯罪化する法案を導入しました。（法案が最終的に可決された際には範囲が狭められ、犯人がその指示を通じて故意に犯罪を助長したことを証明する必要がありました。）

連邦政府はまた、暗号化ソフトウェアへのアクセスを制限しようと試みました。その理由は、犯罪者が法執行機関の手の届かないところで通信できるようになるのを防ぐためだと主張したからです。輸出規制を課し、政府が常にプライベートな通信にアクセスできるようにするために暗号化にバックドア（後門）を設置することを義務付ける提案も行いました。さらに、暗号化ソフトウェアを公開したプログラマーに対して武器輸出管理法に基づき刑事捜査を開始さえしました。

暗号化に対する政府の制限に抗議するために着用された T シャツには、RSA 暗号アルゴリズム（RSA encryption algorithm）のソースコードがプリントされています。出典

これらの制限は最終的に、裁判所の判決と行政措置を組み合わせた結果撤回されました。暗号化はデジタルセキュリティの基盤となり、電子商取引やオンラインバンキング、その他多くのアプリケーションを可能にしました。

しかし、歴史上の他の時期には、新技術への対応として政府権限の拡大を受け入れてきた事例があります。ダイナマイト発明後の広範なテロ行為が、FBI による監視装置の拡大を促したのです。

問われているのは、このレベルの介入が AI のリスクに対処するために必要かどうかです。特別な政府介入を要さない対応策の一つとして、レジリエンス（回復力）の向上があります。

レジリエンスは AI リスクに対する過小評価されている防御策

レジリエンスとは、システムが害に耐え、適応する能力のことです。これは私たちが AINT エッセイで提案した主な防御策の一つでした。企業が何をリリースできるかを制限するような特別な政府行動とは異なり、レジリエンスは AI 企業に対してコストを課すものではありません。むしろ、AI リスクが発生する時期や場所に関わらず、それに対応し回復する能力を高めることに焦点を当てています。過去の技術的害悪において、システムのレジリエンスを向上させることが害を軽減するための鍵となってきました。

サイバーセキュリティを考えてみましょう。インターネットは、ネットワークを通じて拡散するワームなど、全く新しいクラスの攻撃を生み出し、数十億ドルの被害をもたらしました。これらのリスクに対する防御方法は、コンピュータやインターネットへのアクセスを制限することではなく、脆弱性を開発者に報告することをインセンティブとするバグ・バウンティ（bug bounties）、ブラウザやオペレーティングシステムの改善、自動化されたテスト、より良いパッチ適用プラクティスなどを通じて行われました。これらすべてが、リスクが発生した場所に関わらず、サイバーインフラのレジリエンスを向上させました。

自動化された脆弱性検出ツールは、新たな種類の攻撃を可能にする技術の別の例です。ファズァーや記号実行エンジンなどのツールは、長年にわたり脆弱性検出において「人間を超えた」能力を発揮しており、人間が及ばない規模で脆弱性を検出することができます。しかし、これらのツールはオープンソースリポジトリ上で自由に利用可能でした。防御側も同じツールにアクセスできたため、これらはサイバーディフェンスエコシステムによって主に資金提供された中核的な防御ツールとなりました。実際、防御側にはテスト対象のシステムへのより深いアクセスなど、これらのツールを効果的に使用する構造的な優位性がありました。これが結果として、サイバーシステムの保護強化につながりました。

脆弱性検出能力の概念化されたスペクトルは、既存のツールが支援なしの脆弱性研究者よりもはるかに優れていることを示しています。

これは、特別な政府の介入を必要とせずに、支援なしの脆弱性検出から、はるかに人間を超えた検出能力への移行をどのように管理してきたかを示しています。LLM（大規模言語モデル）が脆弱性検出に実質的な改善をもたらすことは認めつつも、それらはすでに人間が単独で達成できる範囲を遥かに超える数十年にわたるツール群の上に構築されたものです。もし既にそのようなツールへの移行を吸収しているなら、言語モデルの追加的な能力が特別な介入を必要とするかどうかを問う価値があります。

明確に述べておくと、これらの移行は滑らかでも痛みも伴わないものではありませんでした。ある短い期間中、攻撃者と防衛者のバランスは完全に崩れました。マルウェアのウイルス的拡散とその結果生じる非対称性という考え方は前例のないものでした。15 歳の若者がトップクラスの e コマースサイトや検索エンジンをダウンさせる壊滅的なサイバー攻撃を創り出すことが可能になりました。この期間中に個人や企業に与えられた被害を軽減するために、政府によるサイバーセキュリティの改善のための介入が有効だった可能性は十分にあります。

AI を用いたサイバー攻撃は再び攻防のバランスを崩す可能性があり、私たちは AI 移行がデフォルトでスムーズに進むとは考えていません。現在防御が不十分な多くのシステム、つまり学校、病院、電力網、小規模な政府機関などは、実際に危険にさらされることになります。Project Glasswing や OpenAI のサイバーセキュリティ助成プログラムなどの取り組みは重要ですが、それら単独では不十分です。高度な AI システムへのアクセスを制限することは短期的には役立つかもしれませんが、オープンウェイトモデルが最も能力の高いクローズドモデルの数ヶ月以内に追いつく世界において、これは万能薬ではありません。

AI のサイバーリスクに対処するには、レジリエンス（回復力）への投資が必要です。つまり、技術企業だけでなく、現在防御能力を欠いている学校、病院、電力網、中小企業、政府システムにおいても AI を活用したレッドチーム演習を行うべきです。また、セキュリティ専門家が脆弱性を発見・報告するようインセンティブを与えることも重要です（AI の使用の有無にかかわらず）、例えば、技術企業の製品だけでなくより広範な対象をカバーするバグ報奨金制度などを通じてです。これらの取り組みは自動的に実現されるものではなく、投資と計画が必要です。

朗報は、この作業が多くの異なる業界で既に始まっていることです。これには多大な投資が必要ですが、厳格な非拡散体制を強制するよりもはるかに負担は少ないのです。悲観的な見方としては、政府には真に痛みを伴わない移行を実現するためにまだやるべきことが山積みであるという点です。

同様の分析はバイオセキュリティにも当てはまります。AI は一部の情報障壁を低下させる可能性がありますが、生物攻撃には多くの下流工程が依存しています：資材の調達、専門機器へのアクセス、暗黙のノウハウの適用です。これらの下流工程に対して、AI 開発に対する強力な規制を課すことなく、社会の生物攻撃に対するレジリエンス（回復力）を高めるために、今すぐ介入することができます。具体的には、合成生物学の注文に対するより良いスクリーニングの実施、新しい化合物のリスク評価に AI を活用すること、危険な物質へのアクセスの追跡、そしてこれらの取り組みにおける隙間を見つけるためのオフェンシブ・レッドチーム（信頼できる専門家に AI を用いて危険な化合物を製造しようとする試みを依頼するなど）などです。これらは、バイオリスクが AI に起因するかどうかにかかわらず役立ちます。

もしレジリエンスがそれほど有益なら、なぜすでに優先されていないのか？

重要なのは、レジリエンスは特別な政府の介入を必要としないということです。必要なことは、政策立案と実行という「通常の」プロセスにおいて、私たちが自らの行動を整えることだけです。

問題は、私たちが通常の政策立案に長けていないことです。レジリエンスのアプローチが魅力的に見えない理由の一つとして、多くの意思決定者が調和して協力する多中心的ガバナンスを必要とする点が挙げられます。これは、米国における国家能力が数十年にわたる累積的な拒否権ポイントと緩やかな手続主義によって麻痺していることを考えると、非常に難しい提案です。その結果、行政部門による一方的な行動が、AI 政策の策定と執行のための解決策としてしばしば見なされています。

レジリエンスへの投資には、不拡散よりもはるかに広範なアクターによる行動と投資が必要です。レジリエンスを効果的なものとするためには、政府が立法を行い資金を配分し、機関間での協力を行い、早期警戒システムを構築し、下流のアクターにとってのリソースハブとして機能し、彼らの防御を強化するために情報を迅速に伝達する必要があります。米国の連邦政府は、この一連のタスクにおいて有能であるとはあまり知られていません。

したがって、政府の実績を見てみると、レジリエンスに関する政策対応が期待外れであったとしても驚くべきことではありません。実際、AI における「通常」派と「異常」派の間で透明性、監査、安全性研究のための安全港などの要件において合意がある領域であっても、具体的な連邦政府の行動はまだ見ていません。(サイバーリスクに対する調整を改善するよう連邦政府に求める最近の代表者からの書簡など、いくつかの取り組みはあります。しかし現時点では、これは提言を含む単なる書簡であり、これらの提案に基づいて実際に行動がとられるかどうかは今後の課題です。)

この文脈において、AI のリスクに対処するために非拡散のような政府による特別な措置が魅力的に見えることがあります。これらは主にこれらのリスクを生み出す企業に負担を課すため、道徳的に満足感を与えます。また、国防生産法（Defense Production Act）の発動など行政による単独行動のみで済むため、実行可能でもあります。主な疑問は、こうした措置を通じてより良い結果を達成できるかどうか、あるいはガバナンスの「通常」のプロセスを改善することに投資すべきかどうかです。

前者を取る理由については私たちが理解している一方で