ハサビス氏、Google の AI 約束を語る

Google の CEO、デミス・ハサビス氏は、"Frontier AI と新時代の幕開けのための枠組み"（A Framework for Frontier AI and the Dawning of a New Age）と題する、質の高いエッセイを公開しました。このエッセイとその反響について、本稿の第 1 部で詳しく解説します。

一方、本稿の第 2 部では、アレックス・ターナー氏の辞任と、その背景にある物語を取り上げます。彼は政府が自社のモデルを「ほぼ何でも」使用することを許可する契約に Google が署名するのを阻止しようと試みましたが、失敗しました。そこには自律型兵器の使用も含まれていました。

デミス・ハサビス氏は DeepMind を Google に売却する際、このような事態は起きないと条件付けていました。しかし、現実にはそれが起こっています。これは教訓となる物語です。

明日には Kimi K3 についても取り上げる予定です。その頃にはさらに詳しい情報が得られることを願っています。コメント欄で反応や情報をお寄せください。

氏は、私たちが特異点のふもとの丘陵地帯に立っていると述べています。

彼の提案は、米国政府内に「Frontier AI 基準機関」を設けることです。これは金融業界規制団体である FINRA に似た組織で、「Frontier Labs（フロンティア・ラボ）」と呼ばれる企業を統括するものです。ここでいう Frontier Labs とは、特定の技術的ベンチマークに基づいて Frontier モデルを生産するあらゆる会社を指します。評価基準は定期的に更新され、リリース前およびリリース後の両方で脆弱性への対応が行われます。

彼は、これが「大きい、本当に大きい、それ以上だ」という表現を非常に巧みに使います。

デミス・ハサビス氏：私は生涯をかけて人工汎用知能（AGI）の研究に携わってきました。それは、責任を持って構築し、導入されれば、人類がこれまでに発明した中で最も有益で変革的な技術の一つになるという確信があったからです。AGIは、インターネットやモバイル端末といった標準的な技術的ブレイクスルーとは比較できません。それらよりもはるかに重要で、電気や火の発見に匹敵するものです。よく考えてみてください。私たちは本質的に、「砂」に思考させる方法を発見したのです。これは奇跡です。

この技術がもたらすインパクトの規模は前例のないものになるでしょう。産業革命の 10 倍の影響力を、さらに 10 倍のスピードで実現する可能性があります。これにより、社会が直面する最大の課題解決に貢献できます。創薬の加速や新たなクリーンエネルギー源の開発、そして革新的な先進材料の創出などです。もしかすると、資源が人類の進歩における制約要因ではなくなる段階に到達し、驚くべき豊かさの新しい時代へと踏み出すことになるかもしれません。

しかし、ここには「言いたくないこと」を避けるような側面があります。つまり、具体的な下流リスクが何であるかを明言しない点です。デミスが「専門家の間で意見が分かれている」と言うとき、その意見の相違が具体的にどのような内容なのかについては、やや回避的な態度をとっています。

Nate Soares（MIRI）：デミスがこれを「人類史における決定的な瞬間」であり、「極めて過酷な競争」の一部だと認めたことは嬉しく思います。しかし、危険なモデルと判断された後の具体的な対策計画を欠いたまま、「基準策定機関」によって安全性を評価するだけで解決できると提案している点には失望しています。

「専門家の間で意見が分かれている」という認識を示してくれたのは歓迎すべきことです。ただ、その相違の核心が「大惨事の確率が約 5% か、それとも 50% 以上か」という根本的な見解の違いであるにもかかわらず、それを軽く流している点には腹立たしさを感じます。私たちはもっと真剣に取り組むべきです。

Aaron Scher: AI の CEO が AGI に関する見解を公に語る姿を見られたことは嬉しく思います。ただ、デミス氏の政策提言については異論があります。それはあまりにも手遅れで、かつ不十分だからです。

「専門家の間でも意見が分かれている」という彼の発言は、実際には「この技術が人類を絶滅させる確率は 5% の人もいれば、40%、90% と考える人もいる」といった意味合いを含んでいます。これは戦略的な表現ですが、もしあなたがすでにその意図を理解していないか、あえて理解しないふりをしているなら、デミス氏が言う「安全」は主に雇用への影響を指すわけではないのに、そう誤解してしまっても不思議ではありません。

デミス・ハサビス氏：… 近い将来、ますます自律性が高まり、再帰的に自己改善を行うシステムに対する制御を維持し、時間とともに明らかになっていく未知の課題に対処するためには、堅牢なセーフガードが必要です。

… 私は常に、人間の知恵と創造性があらゆる問題を解決する力を持っていると信じてきました。AI に関連する技術的リスクを軽減することは、私たちが共同で取り組むべき課題だと確信しています。ただし、そのためには次の重要な一歩を正しく踏み出すための時間と空間を、私たち自身が確保する必要があります。

しかし現状では、業界全体として、また社会全体としても、そのような対応ができていません。

デミス氏は、この取り組みの一部として、包括的な選択肢の提供も重要だと明言しています。その中には、技術開発の一時的な減速（スローダウン）を含めることも含まれます。

このアプローチの強みは、技術的な焦点を維持しつつ、イノベーションを支援し、責任ある行動を促す点にあります。これは業界の加速に対応し、特定される最大のリスクに適応するために設計されており、状況の深刻度に応じて強化することも可能です。必要と判断されれば、フロンティア・ラボ間での開発ペースの調整も含まれます。

デミス氏は要点を簡潔にまとめ、詳細には踏み込みませんでした。彼が提案した内容に限れば、それは妥当なものであり、確実に改善をもたらすものです。

Jack Clark (Anthropic): 現在、AI の最前線にいる誰もが、第三者が AI システムを検証し、その結果を政策に反映させる基準策定に活用すべきだと認識しています。@demishassabis がこのための枠組みを示したことは素晴らしいことです。

Samuel Hammond: Google、Anthropic、OpenAI、Microsoft のリーダーたちが、ほぼ独立して「差し迫った技術的加速」への警鐘を鳴らしている姿は印象的です。

したがって、この投稿とその要請は、「最低限やるべきこと」というカテゴリにおいて、高い評価として記録します。

ピーター・ウィルデフォードの意見に同意します。FINRA（米国金融業界規制協会）のような仕組みが何もないよりはマシであることは確かですが、これは優れたモデルとは言えません。規制当局が業界に牛耳られるリスクが高まっているからです。また、政府による完全な規制措置を代替するものでもありません。SEC（米国証券取引委員会）のような強力な機関が必要なのです。

FINRAのような仕組みを作らないという意味ではありません。しかし、それだけでは不十分で、SECの役割も不可欠だということです。

では、公開が目的のモデルに限定し、法的拘束力のある合意を伴わない、少なくとも部分的には自主的な規制制度だけで、この問題は解決できるのでしょうか？答えはノーです。ピーター・ウィルデフォード氏や多くの他の専門家が指摘している通り、現状の提案は「何もしない」よりは遥かにマシですが、それで十分ではありません。

アロン・シャー氏やコナー・リーヒ氏のように「完全な停止こそが唯一の解決策だ」と信じる必要はありません。それでもなお、私たちが目指すべき道はまだ遠いことは明白です。デミス・ハサビス氏の発言を、その真意を理解した上で捉えれば、提案書には反映されていないほどの危険性と緊急性が読み取れます。

エリ・タイア氏（@EpistemicHope）の指摘：

当初、フロンティア・ラボスは、公開の30日前までに標準化機関へモデルを共有し、審査を受けることを自主的に行います。

この提案は、企業が公開する予定のあるモデルからのリスクに対処するためだけのものなのでしょうか？もしある企業が最先端モデルを開発しながらも、それを公開せず、より強力なAI能力の開発のために社内でのみ利用している場合、その企業はこの監督体制から免除されるのでしょうか？

Connor Leahy: デミス・ハサビス氏が、AGI（汎用人工知能）やスーパーインテリジェンスに近づく中でリスクに対処するための緊急措置が必要だと指摘している点は正しい。しかし、脅威に対する適切な対応は「業界による自主規制機関」を設けることではない。

私たちはスーパーインテリジェンスの創出を禁止すべきであり、業界に規制権限を与えるべきではない。

Aaron Scher: … 人類絶滅の脅威、「あと数年しかない」という緊迫感、「産業革命の 10 倍の規模」といった表現は、「モデルを評価して能力を理解し、自主的な安全基準を設けよう」という方向性を示すものではない。私たちは一歩引く必要がある。ASI（人工超知能）の創出を止めるべきだ。

2 つ目の点：添付された引用にある「時間が必要だ」という主張には同意する。しかし、デミスの楽観論は単なる雰囲気（バイブ）に過ぎず、予測の信頼できる根拠にはなり得ない。ロブ・マイルズが動画で最も的確に指摘しているように、もし 200 年前に地球に向かってくる小惑星があったとしたら、私たちはただ死んでいただろう。

3 つ目の点：他の人々が指摘している通り、この提案が内部利用に伴うリスクを減らすものかどうかは不明だ。どうやら焦点は公開利用や事前テストにあるようだが、実際には内部利用こそが多くのリスクを生んでいる。

4 つ目の点：提案された機関が実際に減速措置を実行し、検証し、強制できるのか疑問だ。「自主的」という部分に曖昧さがある。やはり必要なのは長期の国際条約であり、少しだけ遅らせることではなく、根本的に一歩引くことだ。

ティモシー・リーは、1945 年までに生活水準を指標とした場合、高度な知能と情報から利用可能な技術的価値の 10% 以上がすでに発見されたという説に異議を唱えています。私はこれが唯一の評価基準だとは思いません。もしそうだとしたら、それは特定の時点での話なのか、それとも生涯を通じた話なのか、また「人間らしさ」をどこまで制限して考えるかによって答えが変わってくるからです。

人間としての日常的な体験を、QALY（質調整生存年）のように 1 年あたりの質で測るなら、寿命や老化の経路が基本的に固定されていると仮定した場合、私たちはすでに最適化への道のりを 10% 以上進んでいる可能性が高いと考えます。しかし、私はそれよりも遥かに大きな価値があると考えるものがあります。それは、老化や病気の治癒、そして人々が過小評価しているインターネット（およびコンピュータやスマートフォン）、さらに 1945 年のような労働を強いられる必要がなくなるという点です。これらは過去のあらゆる進歩を大きく上回るものであり、ましてやトランスヒューマニスト的な完全な体験など論外です。その後の状況が比較的正常に保たれたとしても、天国と地球、そしてあなたの哲学に関わる何かがそこにはあるのです。

一方、純粋な GDP の数字だけを見れば、それは十分に達成可能な目標のように思えます。

ノア・スミス：第二次産業革命はおよそ 100 年続きました。1870 年から 1970 年の間です。その期間中、アメリカの生活水準は 5 倍に拡大しました。

10 年間で生活水準を 50 倍向上させるには、産業革命の 10 倍のスピードを 1/10 の時間で達成する必要があります。これは年間 GDP 成長率で 48% に相当します。

Coinbase CEO のブライアン・アームストロングがここで表明しているような「愚かな反対意見」——つまり「AI はソフトウェアと同じだから、自己規制機関（SRO）は不要で、既存の法律とインセンティブで十分だ」という主張——には同意できません。

DeepMind もまた、バイオレジリエンスへの取り組みに関する 3 ページの声明を公開しました。これは同社が自律的なガバナンス能力を持っているかを試すための一つの例として機能します。

このプログラムは 3 つの柱から成り立っています：

● 脅威アクターによるモデルの悪用を防ぐこと。

● 新しい感染症の発生を迅速に検知すること。

● これらの発生に対して断固とした対応を行うこと。

彼らは、防御の多層化（ディフェンス・イン・デプス）を通じて悪用を防ぐためにさまざまな手法を採用しています。ただし、その具体的な内容については（少なくとも適切に）曖昧なままです。

以下の 4 つのうち、少なくとも 1 つは真実でなければなりません：

彼らの手法は機能しません。

Gemini が十分でないからこそ、彼らの手法が機能しているだけです。

Anthropic は理由もなく分類器に執着しすぎています。また、その対策は高価でありながら非常に不十分です。

2 つ目の柱である「アウトブレイクの検出」は、本来世界が取り組むべき課題ですが、実際にはほとんど行われていません。DeepMind は支援の道を探っていますが、「自分たちが責任を引き受ける」というレベルではありません。Google に対してまでそれを求めるのは必ずしも合理的とはいえませんが、少なくとも検討すべきでしょう。

3 つ目の柱も同様に重要で、世界が準備をしておらず、また Google の管轄外ともいえる領域です。AI を活用して部分的に支援しようとしていますが、この能力レベルで行わなければならないことの多くは、政府が実施しないことを決めた通常の予防や備えの作業です。

したがって、Google は政策立案者に対し、新たな法律や措置を通じて2つ目と3つ目の課題に取り組むよう求めています。提案の詳細を精査するまでもなく、少なくともこれらの取り組みを行うべきだと確信しています。

また、フロンティアモデルにおけるバイオ関連のリスクとベネフィットのトレードオフを評価するための連邦枠組みの構築も呼びかけており、これはデミスの提案を補完するものとなるはずです。良い提案です。

「すべての合法的利用」を認める契約を国防総省（※原文の Department of War は文脈上、米国の軍事部門を指す可能性が高いが、現在の米国には"Department of War"という名称の省庁は存在せず、"Department of Defense"の誤記、あるいは比喩的な表現と解釈される）と結ぼうとした Google を止めようとする英雄的な努力の末、アレックス・ターナー氏が Google DeepMind を辞任しました。彼らは約束を破り、殺傷能力のあるロボットや大量監視に対する制限なく AI を軍事部門に販売したからです。

多くの人が声を上げず、「そんなことは起きない」としてこれを正当化していました。しかし、実際に起きてしまいました。現時点でこれに応えて辞任したのは、アレックス・ターナー氏ただ一人です。

ここで明確にしておきたいのは、ジェフ・ディーン氏がこの問題において最大限の影響力を行使しきれなかったとしても、他の誰よりも一歩踏み出した人物だということです。最終的にこれに強く反対しなかったことについて、ジェフ・ディーン氏の責任を問うことに注目が集まるべきではありません。何もしなかった人々との比較においてです。

デミス・ハサビス氏には責任があると考えます。彼は DeepMind の原則が未変更であり、侵害されていないと主張し続けています。しかし、それは事実ではありません。

ハサビス氏が Google のCEOであるサンダー・ピチャイ氏に上書きされたか、あるいは他の要因によって選択の余地がなかったのであれば、その事情は理解できます。デミス・ハサビス氏は王様ではないのです。そうであれば受け入れられるでしょう。ただし、それは彼が Google を舵取りする戦略が失敗していることを示す結果にもなります。それでもなお、「何も起きていないかのように振る舞う」ことは許されません。

アンドレアス・キルシュは率直に語り、同様の見解を示しています。彼は DeepMind で働いており、2014 年に約束されたすべての安全策がすでに無効化されたと明確に述べています。600 人以上の社員が署名した公開書簡で Google にこの契約締結を中止するよう求めましたが、Google は結局、契約を結びました。弁護士が指摘した通り、またこの問題を注視している人なら誰でも理解できるように、Google の契約条項は実効性がなく、政府は自由に振る舞うことができます。

アンドレアス・キルシュの指摘によれば、これは新しい話ではありません。DeepMind のガバナンスの記録を振り返ると以下のようになります。

2014 年：独立した倫理委員会を設置（売却時の条件と報じられる）

2015 年：非公式な会議が一度開かれたのみで、その後事実上放棄

2018 年：AI 原則に「兵器・監視技術」の排除規定を明記

2025 年：その排除規定を削除

2026 年：ペンタゴンとの契約締結

デミス・ハサビスは、別の賭けに出ました。「信頼性のない交渉に費やしていたエネルギーを、真の信頼を築くことに回そう」と。また、「安全性とはガバナンス構造の問題ではない」とも述べています。

ガバナンスではなく「信頼」こそが鍵です。ペンタゴンとの契約は、この賭けが成功するかどうかを試す試金石となります。

詳細はTwitterのスレッドか、25ページの完全版をお読みください。全体として非常に示唆に富む内容ですが、長文ゆえに要点を絞って引用します。

Alex Turner: 最も辛かったのは、AI倫理のリーダーたちが何もしない様子を見せつけられたことです。ペンタゴンがアンソロピックに対して圧力をかけた際、私は国際安全・倫理的 AI 協会（IASEAI）が開催したカンファレンスに参加していました。私は IASEAI の指導部に行動を促すようロビー活動を行いました。

最も辛かったのは、AI 倫理のリーダーたちが何もしない様子を見せつけられたことです。

ペンタゴンがアンソロピックに対して圧力をかけた際、私は国際安全・倫理的 AI 協会（IASEAI）が開催したカンファレンスに参加していました。私は IASEAI の指導部に行動を促すようロビー活動を行いました。

ステージ上では、IASEAI の指導部がアンソロピックを支持する声明を出すための会員投票を行うと発表しました。~ 挙手による賛成は全会一致でした。しかし、その投票は消え去り、IASEAI は沈黙を守りました。Google に影響力を行使できる2ヶ月間の機会を無視したのです。

Google 内部では：私はジェフ・ディーン最高科学責任者宛てに署名活動を行いました。250名以上の GDM（Google DeepMind）社員が署名しました。また、アンソロピックを支持する友人の意見書への署名もジェフに求めました。彼は快く署名に応じ、素晴らしいことでした。

私は Jeff にレビュー機関の責任者になるよう提案しましたが、彼はその案を推進しませんでした。結局のところ、彼が影響力を行使しなかったと思います。彼ならこの取引を阻止できたはずです。

最後の手段として、私は Google DeepMind の CEO であるデミス・ハサビスに直接メッセージを送りました。すると、私の提案を二人のシニア政策スタッフに送るよう指示されました。しかし、その提案は放置されたまま、Google が取引に署名するまで何の変化もありませんでした。

2018 年、デミス氏と Jeff 氏、そして DeepMind 自体は、「致死性自律兵器の開発や利用に参加せず、またそれを支援しない」という誓約を行いました。

Google は取引に応じましたが、この誓約を交わした人々は今もなおその立場にあります。誠実な対応には三つの道があります。説明するか、誓約を撤回するか、あるいは辞任することです。沈黙していることは選択肢の一つではありません。

デミス氏が選んだのは、「何も変わっていない」と否定する道です。「原則は変わっていない」と主張しながら、武器禁止条項を Google の AI 原則から削除した記事の共著者でもあります。この二つの主張が同時に真実であるはずはありません。

状況が悪化すれば、誰か有力者が「ノー」と言うだろうと多くの人が期待しています。私は数ヶ月にわたりその可能性を試しましたが、Anthropic はレッドラインを守りましたが、他の多くは守りませんでした。良心に基づく誓約は、権力という現実と接触するとたちまち消え去るものです。

より具体的には、私の見解では、Jeff にこの件で辞任するよう同意させる必要はありませんでした。ある意味で、彼はすでにその件で辞意を示していたのです。2018 年に彼が署名した誓約があります：

Lethal Autonomous Weapons Pledge**

5,218 人が署名しました

人間の命を奪う決定を機械に委ねてはならない。この立場には道徳的な側面があります。他者、あるいは誰も責任を負えないような人命に関わる判断を機械に任せてはなりません。また、実用的な観点からも強力な根拠があります。人間が介入することなく標的を選択し攻撃する自律型致死兵器は、あらゆる国や個人にとって危険な不安定要因となり得ます。

人間の命を奪うリスク、責任の所在、そして難易度を排除してしまうと、自律型致死兵器は暴力や抑圧のための強力な手段へと変貌しかねません。特に監視システムやデータシステムと連携した場合、その危険性は増大します。

署名者一同は、政府および指導者に対し、自律型致死兵器に対する強固な国際規範、規制、法律を創設するよう呼びかけます。現状ではこれらの措置が欠如しているため、私たちは自らに高い基準を課すことを選択します。すなわち、自律型致死兵器の開発、製造、取引、あるいは使用には一切関与せず、支援もしないという方針です。

署名者には、Google DeepMind（組織）、デミス・ハサビス氏、シェーン・レッグ氏（共同創設者、現 Chief AGI Scientist）、ライア・ハドセル氏（研究担当 VP）、ジェイ・ヤグニク氏（Google 執行役員兼エンジニアリングフェロー、Google AI の主要部門を統括）、そしてジェフ・ディーン氏が名を連ねています。

しかし残念ながら、この声明が離職への意志に転換したわけではありません。

Google DeepMind の多くのメンバーは、この事態を避けるために様々な努力をしました。しかし、彼らの試みは失敗に終わりました。

DeepMind における自己統治の仕組みは機能しませんでした。従業員たちは声を上げ、中には目立つ人物もいましたが、その声は不十分でした。そして、最も影響力を持つ人々がその力を行使しなかったのです。Google に売却する際に交わされた約束は、すでに破られています。

長期的に見れば、これは DeepMind が最優秀な人材を募集し、動機づけ、定着させる能力に悪影響を及ぼします。Google には多数の大きな優位性があるにもかかわらず、DeepMind は OpenAI や Anthropic に敗れ始めています。その最大の理由の一つが、優秀な人材を確保・維持し、適切に活用できないという点です。リーダーシップ層には優れた人材もいますが、彼ら一人だけで全てを成し遂げることはできません。

デミス・ハサビス氏の声明は称賛に値しますが、他者に行動を呼びかけながら、その不履行に対する何らかの結果や責任が伴わなければ、それは単なる口先だけの言葉（チープトーク）になりかねません。

私が願うのは、これが単なる口先だけの言葉で終わらず、議論を前進させるきっかけとなることです。容易なことではありませんが、私たちは好機を得ています。この機会を最大限に活かしましょう。