AI 戦争はすでに始まっている
本文の状態
日本語全文を表示中
詳細モードで約22分の本文を読めます。
同じ出来事の情報源
この情報源を基点に整理
The Verge AI
国連ジュネーブで開催される国際フォーラムにおいて、殺傷能力を持つ自律型兵器システムに関する議論が、もはや仮定の話ではなく現実のものとして進行していることが示された。
Source Article
元記事を日本語で読む
本文に関係しない購読案内、埋め込み通知、サイト内プロモーションは除いています。
特定の通常兵器に関する条約は、致命的自律システムに焦点を当てる国際フォーラムであり、毎年2回、ジュネーブの国連で開かれています。ブランカ・マリヤンが2017年11月に出席した際、5日間にわたる会議は主に仮定に基づき、殺戮ロボットを用いた戦争が行われる世界について推測するものだと考えていました。つまり、いつもの通りだろうと。そもそも、この技術は開発されることもなく、おそらく展開されることもないと考える人もいたのです。しかしその年、彼女はすぐに、それが違うことに気づきました。遠く離れた想像上の未来が、これまでになく身近で現実味を帯びてきたのです。
初日、参加者たちはライフ・オブ・ザ・フューチャー研究所によって制作された短編映画『Slaughterbots』short film を観ました。この動画では、架空の防衛請負業者が、精密攻撃で自律的に殺傷可能なAI搭載ドローンを紹介していました。「かつては『銃は人を殺さない、人を殺すのは人だ』と言われたものだ」とそのCEOは聴衆に語ります。「しかし実際にはそうではない。人間は感情に流され、命令に従わず、狙いを外す。それでは武器が判断を下すようにしよう」。マリヤンによれば、会場の雰囲気は一気に不安定なものへと変わりました。最も恐ろしいのは前提そのものではなく、ペンタゴン(米国国防総省)がすでにこの技術のバージョンを開発していたという事実でした。
その会議は、AI を活用してドローンによる監視映像を分析する米国防総省のイニシアチブ「Project Maven」が始動した後に行われた最初の会議でした。そして 2017 年後半には、Maven は大手テック企業である Google の参画を得ていました。「私たちが議論していたシステムは未来のものではありませんでした」と語るのは、平和を重視する独立系研究機関である Project Ploughshares の上級研究者である Marijan です。「あれらは既存のプラットフォームであり、それらにはある程度の自律性(autonomy)が備わっていたか、あるいはセンサーデータや入力に基づいて標的を選択し攻撃する能力を持っていました。」
世界はすでにドローンによる戦争を目撃していました。それは人間によって指揮される致命的な機械でした。しかし今、人類がその制御ループから完全に排除される未来に目を向けています。「私たちが懸念していた『ターミネーター』のような存在ではありませんでした」と Marijan は語ります。「本当に問題だったのは、自律性の付与(enablement of autonomy)に伴って何が起きているかという点です。」
米軍は数十年にわたり AI 開発を支援しており、その結果、AI が戦争のあり方を変革してきました。
ほぼ10年後、軍隊はまだ完全に自律型の致死兵器を開発していません。しかし、これらのシステムは米政府とAIスタートアップのAnthropicとの間の最近の高リスクな争いの中心に位置しています。Anthropicは2つの「レッドライン」の維持を求めており、国内での大量監視の禁止と、人間が一切関与せずに標的を特定・追跡・殺害できる兵器の禁止です。今年初め以来、同社は専門家たちがAI戦争の最後のフロンティアの一つと呼ぶものに対して意味のある制限を課した唯一の軍事AI請負業者として浮上しました。
しかし、同盟関係の変化、訴訟、そしてドラマチックな展開の中で、大きな文脈を見失いやすいものです。つまり、AIはすでに、そして長年にわたり、軍隊に深く組み込まれているのです。70年前、ニューハンプシャー州の科学者たちによる夏の会議が国防総省にAIの戦争における可能性を認識させるきっかけとなりました。それ以来、その影響力は10年ごとに指数関数的に成長してきました。特に近年では、AIがこれまでにないほど多く、迅速な殺戮を可能にしてきました。
Anthropicさえも、自らのレッドラインが長く続かないと考えているようです。結局のところ、歴史はその逆を示しています。
米軍は数十年にわたり AI 開発を支援しており、その結果、AI は戦争のあり方を変革してきました。2000 年代には、この技術が世界中から収集された前例のない量のデータを解析する能力を獲得し、監視革命を引き起こしました。そして 2010 年代後半には、高度な顔認識やその他の洗練された機械視覚システムが開発されました。
Anthropic とペンタゴンの対立は、これらのシステムの増大する権力に注目を集めています。この争いは 2026 年 1 月に始まりました。当時、国防長官のピーター・ヘグセット 再交渉を要求 しました。その条件は、曖昧な点や以前合意された条項をすべて排除し、ペンタゴンが「あらゆる合法的な用途」という曖昧で広範な範囲内で各社の技術を利用できるようにするものでした。当時、ペンタゴンの機密ネットワークに自社の技術を展開することを承認されていた唯一の AI 企業であった Anthropic はこれに反対しました。
Anthropic でさえも、自社のレッドラインが長くは維持できないと考えているようです
Anthropic のような契約会社が特定の技術利用に制限を設けることは異例です。"これはマンハッタン計画のような政府が創出した技術でも、ノースロップ・グラマンのような従来の軍事サプライヤーでもありません」と、カリフォルニア大学バークレー校の公共政策准教授であるアンドリュー・レッドディ氏は述べています。「このスタートアップ生態系がペンタゴンと直接関わる際に浮き彫りになる痛みの一つです」。さらに同氏は、シリコンバレー内においても制限を設すべき時期について"多くの意見の相違がある"と話しています。
また、誰が勝者となるかも不透明です。交渉戦術の一環として、米国防総省(DOD)は 3 月に Anthropic を軍事サプライチェーン上のリスクと指定し、ドナルド・トランプ大統領は政府機関による Claude システムの使用を禁止すると宣言しました。その後、Anthropic のサイバーセキュリティに特化したモデル"Mythos"の発表などにより関係性は明らかにやや改善したようですが、法廷闘争は依然として進行中です。Anthropic は本記事に関するコメントの提供を拒否しました。
いずれにせよ、この議論により"完全自律型兵器"が新たな形で一般用語として定着しました。しかし、軍事作戦における AI の浸透的な影響力は数十年にわたり減速していません。
"私たちは実際には越えてしまったのに、まだ越えていないかのように振る舞っているのです」とレッドディ氏は語っています。
議論の中心にあるのは、致死性自律兵器の使用を規律する数少ない政策の一つである国防総省指令 3000.09 です。これはもともと 2012 年 に作成されたもので、そのようなシステムを「一度作動すると、オペレーターによるさらなる介入なしに標的を選択し攻撃できるもの」と定義しています。そして、完全自律型および半自律型の兵器は、人間が武力の使用に対して「適切なレベル」の判断を下せるように設計するよう定めています。
この指令は、「戦争における自律性の使用に関する最初の政策」を設けたと、Future of Life Institute で AI と国家安全保障を担当する Hamza Chaudhry は述べています。
「完全な自律性がなくても、AI は殺傷連鎖(kill chain)を数秒に圧縮します。」
ただし、定義の解釈次第では、特定のミサイル防衛プログラムは数十年も前にその境界線を越えている可能性があります。例えば Phalanx CIWS を考えてみてください。これは非常に大きな銃のような外観を持つ自動化された兵器システムで、艦船が着弾するミサイル攻撃から守るために構築されています。この種のシステムは、人間がループ(制御プロセス)に含まれていると機能しません。なぜなら、ミリ秒単位での対応が必要だからです。
ある専門家は、これらのシステムは防御専用かつ固定環境内でのみ作動するという点に違いがあると指摘します。この解釈によれば、それらは「交戦」しているものの、「決定」を下すわけではなく、到来する脅威に対して単に反応しているだけだといいます。「その法条における『および』という語には大きな役割があります。私たちは決定できるシステムと交戦できるシステムを持っていますが、両方の機能を備えたシステムを持つことはできません」とレッドディ氏は述べています。
「完全な自律性がなくても、AI は殺傷連鎖を数秒に圧縮するため、国際人道法が民間人の被害を防ぐために要求する評価を人間が行うことが実際にはできなくなります」とテック・ジャスティス・ローの法律フェローであるマディ・バット氏は語ります。「人間のその不履行が民間人の死をもたらす場合、それは戦争犯罪となります」。
攻撃と防御の定義もあいまいです。「私の学生との好きな演習の一つは、軍事技術を提示し、『これは防御的か攻撃的か』と問うことです」とレッドディ氏は述べ、サイロ内の核兵器の例を挙げました。これには、抑止のために使用されるため防御であると主張する人もいれば、外国の標的を攻撃するように設計されているため攻撃であると主張する人もいるといいます。「その主な機能が本質的に防御的なものであるからといって、技術自体が本質的に防御的であるとは限りません」。
特定のミサイル防衛システムは、数十年も前に自律応答の境界線を越えている可能性があります
パデュー大学のソリン・アダム・マタイ教授はより率直にこう述べました。「防御のみで戦争を戦うことはできません」
2023 年、国防総省(DOD)のすべての AI 運用の中核ハブである政府の首席デジタル・人工知能局(CDAO)は、DOD 指令 3000.09 に対する 更新 を発行しました。しかし、文書の核心的な曖昧さは解消されませんでした。2024 年、バイデン政権は AI と国家安全保障に関する 覚書 を公表し、特定の国家安全保障シナリオにおける AI の使用ルールを定めました。現時点ではトランプ氏の下でもこの政策が有効です。しかし、ペンタゴンは大きな混乱に見舞われています。CDAO は現在、DOD の他の部門からより孤立する形での大規模な再編成を進めており、同局は現在は国防総省の研究・工学担当次官であり、かつ同省の CTO(最高技術責任者)でもあるエミル・マイケルに報告しています。
特定の通常兵器に関する条約や殺戮ロボットを阻止するためのキャンペーンなど、国際的な取り組みも大きな進展を見せていません。マリアンは『ザ・バージ』に対し、CCW は小国が AI 戦争を取り巻く状況を理解する上で大きく貢献したものの、全体的な進捗は「非常に遅く、特に主要国や高度な軍事力を持つ国々の間で具体的な合意に至っていない」と語りました。一部の国が致死性自律兵器の禁止に関心を示しているにもかかわらず、この用語に対する公式な国際的な定義すら存在しません。カリフォルニア大学バークレー校の上級研究員であり、OpenAI の地政学チームの元リーダーであるサラ・ショーカーは、「この状況は多くの人が互いの話を聞いていない結果を生み出し、一部の国にとっては拘束力のある文書の欠失が自らの利益になると考えている」と述べています。
一部の国が致死性自律兵器の禁止に関心を示しているものの、公式な国際的な定義すら存在しない
「これらの会議に参加する人々の多く、すなわち政策決定者や市民社会の関係者などは、おそらく疲れ果てていると思います」とショーカーは付け加えました。「10 年以上も経っているのに、本当に合意に至っていないのです。
2017 年以前に自律型兵器の状況がどうであれ、マヴェン計画はそのタイムラインを劇的に加速させ、議論の枠組みそのものを変えました。このプログラムは、2010 年代の理想主義的で「悪を行なうな」というスローガンを掲げたシリコンバレーが、明らかに戦争に関与した最初の事例となり、Google の従業員や一般市民に反応を迫りました。「これは、軍事作戦における AI テクノロジーの役割について私たちが行った初の国家的な対話でした」とマテイは語っています。
プロジェクト・マヴェンは、当時の国防副長官であったロバート・ワークによる覚書から始まりました。彼は、戦争地域へ展開することが可能な AI アルゴリズム(アルゴリズム)を訓練することを任務とする「アルゴリズム戦争横断チーム」を設置し、その実現は同年末までに可能となるよう指示しました。まもなく Google がこの契約を獲得しました。
内部からの抵抗は急速に高まりました。2018 年 4 月には、約 4,000 人の従業員が署名し、Google が「戦争ビジネス」から撤退するよう求める請願書を発表しました。その手紙には、Google の執行役員が社員に対し、「当社の技術は『ドローンを操作したり飛行させたりせず』、『兵器を発射するために使用されることもない』」と保証したと記されていました。しかし従業員たちは、「これにより直接的な用途の限定的なセットが排除されたとしても、その技術は軍事目的のために構築されており、一度納入されればこれらの任務を支援するために容易に利用されてしまう可能性がある」と指摘しました。「私たちは、自社の技術に対する道徳的責任を第三者に委譲することはできません。」Google は本記事に関するコメント依頼に対して回答していません。
最近、MSS(中国語:情報部)は、ベネズエラのアレハンドロ・マドゥーロ大統領の逮捕およびイランに対する米国の空爆において、報告によると不可欠な役割を果たしてきたとされています。これらの空爆により、地域ではこれまでに数千名が死亡したと報じられています。
「防衛のみで戦争を戦うことはできません。」
Google の従業員たちは、自社の企業が明確な立場を取るべきだと主張し、実際にその通り行動しました。2018 年半ばの論争の中で、同社は契約を更新しないことを選んだのです。しかし、Amazon と Microsoft はすぐに参入し、同じ業務に対して数千万ドル規模の契約を引き受けました。その後 Palantir が主導権を握り、Project Maven は「Maven スマートシステム(MSS)」へと進化しました。これは単なる物体検出や追跡だけでなく、大規模な監視データの分析も可能にするシステムです。
Claude も MSS と密接に関わっていますが、その役割はより限定的です。2024 年に Anthropic が自社の技術を軍事利用することを許可して以降、同社の Claude チャットボットがユーザーインターフェースに追加され、分析官が特定の地理区域や情報タイプ、標的についてシステムを照会するのを支援しています。この比較的 minor な追加でさえも、一部の専門家は、システムをより効率的にしたと指摘しています。その結果、Claude による標的指定が可能となり、潜在的により多くの個人を攻撃対象とすることができるようになりました。
標的の膨大な量は、意味のある人的監督を困難にするだろうと Shoker は述べています。「MSS について私たちが知っているのは、それが標的化サイクルにおける人間の数を減らすように設計されているということです。それはまさに意図されたことです。」
Anthropic が人的介入の削減については問題ないと考えていたとしても、それをゼロに設定することには抵抗を示しています。しかし、Google が Project Maven で経験した通り、競合他社はその隙間を埋めることに全くためらいはありません。
他の AI 企業も、ペンタゴンとの協力機会を逃さなかった。Anthropic との対立が始まる前ですら、主要な AI ラボのいくつかは 運用ガイドラインを緩和 したり、ミッションステートメントを修正 して、軍事契約を可能にする方向へ舵を切っていた。Google、OpenAI、そして議論の余地はあるが Anthropic 自身 もその一例である。OpenAI は素早く、Anthropic が拒絶した条件に 署名 した。そして Anthropic を冷遇してから数ヶ月のうちに、国防総省は Google、Microsoft、Amazon Web Services、Nvidia、OpenAI、Reflection、Oracle、SpaceX の 8 社と契約を結び、それらの AI を機密ネットワーク上で展開することを決定した。
AI 企業はペンタゴンとの協力機会を逃さなかった
Shoker氏は、OpenAI(同業界の最大手の一つ)に在籍していた際、意思決定支援システムや自律型兵器システムのリスクを研究する人々と多く交流しなかったと語った。これらの分野の研究コミュニティは依然として「極めて分断されている」と彼女は述べた。「この分野の人々は、[これらのリスク] についてある程度前から警告を発し、研究を行ってきた」とShoker氏は付け加え、「問題は…そうした人々が研究所内にいなかったことだ」と続けた。OpenAIはコメント依頼に対して回答しなかった。
社内部では、従業員たちがほぼ十年前のプロジェクト・マベンに対する反発を強く想起させる形で異議を唱えています。外部においては、OpenAI のペンタゴンとの契約が広範な論争を引き起こし、CEO のサム・オルトマンは契約の見直しを試みていると発表しました。しかし、シリコンバレーの経営陣は、従業員による組織化や発言に対して積極的に反発しており、その手段として AI を用いて漏洩者を特定することさえ行っています。さらに多くの技術労働者は、AI が自社のエントリーレベルの役割を代替する時代において、職を失うことをすでに恐れています。
一方、トランプ政権との裁判闘争を通じて、Anthropic は依然として軍事・情報機関の契約会社としての地位回復を試みている。同社の技術は 2024 年以降、米国国防総省(DOD)の運用に深く組み込まれており [1]、昨夏には機密資料に関する規制を緩和した上で国家安全保障機関が使用することを目的とした製品「Claude Gov」[2] を発表した。
Anthropic は今年の上場準備を進めていると報じられており、高リスクな損失を被る可能性に直面している。同社は投資家との交渉を通じて、評価額 9000 億ドル [3] で資金調達を行う計画であると伝えられている。この研究所が利益を生み出すことへの投資家の圧力は、これまで以上に強まっている [4]。
ここ数ヶ月、Anthropic のCEOであるダリオ・アモダイ氏は米国人に対する大規模監視に固執しているが、他者に対する同様の監視については問題視しておらず、むしろそれを支持する姿勢を示している [5]。
Anthropic の「非常に限定的な」赤い線は、「人権を保護したり、国際法に準拠したりするには十分ではない」と、Tech Justice Law の Batt は述べた。「Anthropic は特に米国人に対する大規模な国内監視が深刻な市民的自由の懸念を引き起こすと述べているが、同じ市民的自由の懸念は非米国人に対しても同様に強く適用される」と彼女は付け加えた。「実際、過酷な移民取り締まりを考えると、非市民に対する大規模監視のための高度な能力については、むしろ特に懸念すべきだろう。」
Anthropic の CEO である Dario Amodei は米国人に対する大規模監視を非難しているが、他のすべての人々に対するそのような監視には問題がないと示している。
これはさらに、米国国内で行われている多くの倫理議論から驚くほど欠落している、海外における大規模監視の倫理の問題さえもカバーしていない。
Amodei は Anthropic のシステムが完全に自律型兵器を支援する準備ができているとは考えていないものの、概念的にも道徳的にもそれらに反対しているわけではない。ブログ投稿 において、「完全に自律型兵器(人間をループから完全に排除し、標的の選択と攻撃を自動化するもの)は、私たちの国防にとって決定的な役割を果たす可能性がある」と述べている。Amodei はさらに、「これらのシステムの信頼性を向上させるための研究開発(R&D)に国防部と直接協力し、同社がそれらの配備に関与するまでの時間を短縮することを楽しみにしている」とさえ語っている。
Anthropic の CEO である Dario Amodei は米国人に対する大規模監視を非難しているが、他のすべての人々に対するそのような監視には問題がないと示している。
その立場について、Tech Justice Law の Batt は、「これは国際人道法と根本的に緊張関係にある」と述べた。同法は、あらゆる攻撃に対して個別に評価を行うことを要求しているからだ。「AI をこれらの標的選定プロセスに導入することは、『スピードが勝つ』という理念に基づいているのだ」と彼女は言う。「人間の関与がプロセスのどの段階で行われるかに関わらず、これらのシステムを導入する目的が数週間や数日かかる作業を数秒で完了させることにあるなら、人間は自らその評価を意味のあるものとして行っているわけではない。」
Hegseth が国防総省の AI 契約の再起草を表明した際、彼は明確に「DOD は、十分に速く動かないことのリスクが、不十分な整合性のリスクを上回ると受け入れなければならない」と述べ、多くのテストと評価は廃止されるべきだと主張した。
「AI をこれらの標的選定プロセスに導入することは、『スピードが勝つ』という理念に基づいているのだ。」
過去の政権は、安全性を維持しつつ戦争における『純粋な官僚主義的な』層を排除しようとしてきたと Chaudhry は語るが、Hegseth のメモは「明確にトレードオフを設定し、我々は速度を優先すると述べている」という。軍事作戦においては、これは通常最良の包括的アプローチではないが、専門家によれば、しばしば最も致命的な結果をもたらすという。AI はすでにその殺傷能力を実現しており、さらに一歩先へと進もうとしている。
ヘグセットメモ以降、マリアンによれば、自律型戦争のリスクに注目する国が増えています。しかし、アメリカ軍とシリコンバレーのパートナーに対して、彼らがどこまでできるかは不明です。現在、彼らはその影響を理解しようとしているだけです。人間が「単に決裁を承認しているだけ」である場合、マリアンは、「責任の所在はどこにあるのか、そして責任はどのように問われるのか」と問います。
2017 年 7 月の Defense One Tech サミットでは、Maven が同省庁の未来の中核として位置づけられており、アルゴリズム戦争クロスファンクショナルチーム(Algorithmic Warfare Cross-Functional Team)の責任者が聴衆に対して発表を行いました。
AI は、戦闘において標的を選択することはないと彼は述べましたが、現在では介入がなければ、その瞬間は遠くないのです。
この物語のトピックや著者をフォローして、パーソナライズされたホームページフィードで類似記事をもっとご覧いただき、メール更新を受け取ってください。
- Hayden Field
-
-
-
-
-
-
関連記事
今日のまとめ
AIデイリーブリーフで今日の重要ニュースをまとめ読み