ハサビス氏、新時代のAI枠組みを語る
Google CEO Demis Hassabis は超知能（AGI）の到来を宣言し、規制機関の設立を提唱したが、記事は同氏が約束した民間軍事利用禁止の原則が崩れた可能性や、リスク評価後の具体的な対策欠如について批判的に分析している。
キーポイント
AGI の歴史的意義と規模
Hassabis は AGI をインターネットやモバイルよりもはるかに重要で、電気や火の発見に匹敵する技術とし、産業革命の 100 倍の速度で社会変革をもたらすと強調している。
規制機関の設立提言
Hassabis は米国政府内に FINRA（金融業界規制）に類似した「フロンティア AI 基準機関」を設け、特定のベンチマークを満たす企業を監視・評価するよう求めている。
軍事利用への懸念と矛盾
記事は、Hassabis が DeepMind の売却時に軍事利用禁止を条件としたにもかかわらず、現在国防総省（Department of War）との契約や自律型兵器の関与が疑われている点を「教訓的な物語」として指摘している。
リスク評価後の対策欠如
MIRI の Nate Soares は、Hassabis が危険性を認めているものの、モデルが危険と判定された場合の具体的な対応計画（停止や抑制など）を提示していない点を批判している。
リスク評価の乖離への懸念
記事執筆者は、ハサビス氏が「専門家の間で意見が分かれている」と述べる際に、その争点である「人類全滅の確率が5%か50%以上か」という重大な乖離を軽視している点を批判している。
提案の評価と限界
ハサビス氏の提案は技術的焦点を当てつつイノベーションを阻害しない点で評価されるが、規制の取り込みリスクがある業界団体モデル（FINRA）に頼りすぎているため、政府による完全な規制（SEC）が必要であると指摘されている。
自主規制の限界と内部展開リスク
公開モデルに限定された自主的レビュー体制では、社内で開発・運用される次世代AIによるリスクを排除できず、実効性に疑問が呈されている。
重要な引用
If you stop to think about it, we've essentially found a way to make sand think. It's miraculous.
The magnitude of this technology's impact will be unprecedented, perhaps 10x of the Industrial Revolution at 10x the speed.
I'm disappointed that his proposed solution is a 'standards body' to evaluate whether models are dangerous, with no plan for what to do once they are.
"I'm annoyed that he glosses past how the disagreement is about whether there's a ~5% or ≥50% chance of total catastrophe."
"You need an SEC to your FINRA. That doesn't mean don't make the FINRA. It does mean you still need the SEC."
We need to prohibit superintelligence, not give industry regulatory power.
影響分析・編集コメントを表示
影響分析
この記事は、AI 業界のリーダーが技術の爆発的成長を強調する一方で、そのリスク管理と倫理的整合性において重大な矛盾を抱えていることを浮き彫りにしています。特に、規制機関の設立提案が「検出」に留まり「抑制」に至らない点は、今後の AI ガバナンス議論において決定的な争点となるでしょう。また、企業の公約と実際の政府契約との乖離は、AI 開発における信頼性の危機を象徴する事例として注目されます。
編集コメント
AI の可能性を称賛する一方で、その実装プロセスにおける倫理的ジレンマと規制の遅れが鮮明に描かれています。特に「危険性を認めるが、どう止めるかは不明」という現状は、業界全体が直面している最大の課題と言えるでしょう。
Google のCEO、デミス・ハサビス氏が発表した「フロンティアAIの枠組みと新時代の幕開け」というエッセイは、一見すると質の高いものに見えますが、実態は二流のものです。本稿の第1部では、このエッセイとその反響について詳しく解説します。
続く第2部では、アレックス・ターナー氏の辞任と、その背景にある物語を取り上げます。彼は政府が自社のモデルを「ほぼ何でも」行うために使用することを許可する契約にGoogle が署名するのを防ぐことに失敗した経験について語っています。そこには自律型兵器の使用も含まれます。
デミス・ハサビス氏は、DeepMind を Google に売却する際、このような事態が起きないことを条件としていました。しかし、まさに今、そのことが起こっているのです。これは教訓となる物語です。
明日は Kimi K3 について取り上げます。それまでにさらに詳しい情報が得られることを願っています。コメント欄で反応や情報を共有していただけると幸いです。
核心となる主張と要請
氏は、私たちが特異点のふもとの丘陵に立っていると述べています。
彼の求めるものは、米政府内に「フロンティアAI 基準機関」を設けることです。これは金融業界規制団体である FINRA に似た組織で、「フロンティア・ラボ」と呼ばれる企業を監督する役割を果たします。ここでいう「フロンティア・ラボ」とは、各種の技術的ベンチマークに基づいてフロンティアモデルを生産するあらゆる企業を指します。
評価基準は定期的に更新され、脆弱性についてはリリース前およびリリース後の両方で対応が講じられることになります。
氏は、これが非常に大きな問題であり、その規模は「それ以上でも以下でもない」という点について、非常に明確に述べています。つまり、これは本当に巨大な課題だということです。
デミス・ハサビス氏：私は生涯をかけて AGI（汎用人工知能）の実現に取り組んできました。その背景には、責任を持って構築し展開されれば、人類がこれまで発明してきた技術の中で最も有益で変革的なものになるという確固たる信念があるからです。
AGI はインターネットやモバイル端末のような一般的な技術的ブレイクスルーとは比較できません。それらはむしろ、電気の発見や火の使用の開始に匹敵するものです。よく考えてみてください。私たちは本質的に「砂」に思考させる方法を見つけたのです。これは奇跡的な出来事です。
この技術がもたらすインパクトは前例のない規模になるでしょう。産業革命の 10 倍の影響力を、その 10 倍のスピードで実現する可能性があります。これにより、社会が直面している最大の課題の数々を解決できるはずです。創薬の加速や新たなクリーンエネルギー源の開発、そして革新的な先進材料の創出などが挙げられます。いずれは資源が人類の進歩におけるボトルネックではなくなる段階に達し、驚くべき豊かさの新しい時代を迎えることも可能になるでしょう。
言及されなかったこと
ここには明らかに「あえて触れない」という側面があります。デミス氏は具体的なリスクやネガティブな側面を名前を挙げて説明していません。「専門家の間で意見が分かれている」と言う際にも、彼らがどのように意見が対立しているのかについては、あえて曖昧にしています。
Nate Soares（MIRI）：デミス氏がこれを「人類史上の重要な転換点」であり、「極めて過酷な競争」の一部であると認めたことは嬉しく思います。しかし、危険なモデルと判断された後の具体的な対応策を示さず、単に評価を行う「基準設定機関」を提案している点には失望しています。
「専門家の間で意見が分かれている」と認めた点には、私も共感します。ただ、その意見の相違が「大惨事が起きる確率が約 5% か、それとも 50% 以上か」という根本的な問題について触れずに流していることには腹立たしさを感じます。私たちはもっと真剣に取り組むべきです。
アロン・シャー：AI の CEO が AGI（汎用人工知能）に関する見解を公に語るようになったのは喜ばしいことです。しかし、デミスの提言する政策は、あまりにも手薄で、そして遅すぎると私は考えます。「専門家の間で意見が分かれている」と言うとき、彼が指しているのは、「この技術が人類全員を絶滅させる確率が 5% だと言う人もいれば、40% や 90% と考える人もいる」という事実です。
これは戦略的な発言であることは明らかですが、もしあなたがすでにその意図を理解していないか、あるいは理解したくないと願っているなら、「デミスは雇用への影響について言っているのだ」と誤解するのは非常に容易です。ただし、彼が「安全に（safely）」という言葉を使う際、主たる意味は雇用問題にはありません。
提案
デミス・ハサビス：近い将来、ますます自律性を持ち、再帰的に自己改良を行うシステムを制御し続けるためには、堅牢なセーフガードが必要です。また、時間とともに明らかになっていく未知の課題にも取り組まなければなりません。
…私は常に、人間の創意工夫と創造性があらゆる問題を解決する力を持つと信じてきました。AI に関連する技術的リスクを軽減することは、私たちが共同で取り組むべき課題だと確信しています。ただし、次の重要な一歩を確実に踏み出すために、私たち自身に時間と余地を与えることが条件です。現状では、業界全体として、また社会全体としても、そのように行動できていません。
彼が強調しているのは、選択肢を用意することの一部であり、その中にはペースダウンのオプションも含まれています。
このアプローチの強みは、技術的な焦点を維持しつつ、イノベーションを支援し、責任ある行動を促す点にあります。これは業界の加速に対応し、特定される最大のリスクに適応するために設計されており、状況の深刻さによっては開発の遅延などを含めて調整を強化することも可能です。
デミス氏は要点を簡潔に述べるにとどめ、詳細には踏み込みませんでした。彼が提案した内容に限れば、これは良い案であるように思えます。間違いなく、現状を少しだけ改善するものです。
ジャック・クラーク（Anthropic）：現在、AI の最前線にいる誰もが、第三者による AI システムのテストと、それを基にした基準策定、そして政策への反映が必要だと認識しています。@demishassabis 氏がこのための枠組みを提示したことは素晴らしいことです。
サミュエル・ハモンド：Google、Anthropic、OpenAI、Microsoft の各社のリーダーが、ほぼ独立して「差し迫った技術的加速」に対する警鐘を鳴らしている姿は印象的です。
よって私は、この記事とその要望を、「最低限やるべきこと」というカテゴリに分類し、高く評価します。
良いスタートだが不十分
ピーター・ウィルデフォードの意見に賛同します。何もしないよりはマシですが、FINRA（米国金融業規制連合）はこの文脈では優れたモデルとは言えません。規制当局が業界に牛耳られるリスクが高いためです。また、政府による包括的な措置を代替するものでもありません。FINRA を作るなと言っているのではありません。しかし、SEC（米国証券取引委員会）のような存在も必要だということです。
少なくとも部分的に自主的な規制制度を、公開されるモデルのみに適用し、関連する法的拘束力のある合意を伴わない場合、この問題は解決できるのでしょうか。答えはノーです。ピーター・ウィルデフォード氏や多くの他の識者が指摘するように、何もしないよりは遥かにマシではあるものの、それで十分とは言えません。
アロン・シャー氏とコナー・リーヒ氏が主張するような「完全な停止こそが唯一の解決策である」という信念を持っていなくても、私たちがまだ長い道のりを歩まねばならないことは明らかです。デミスの発言は、その真意を理解すれば、提案書には反映されていないような危険性と緊急性を暗示しています。
イライ・タイア氏：
当初、フロンティア・ラボスは、公開の 30 日前までに標準化団体へモデルを共有し、審査を受けることを自主的に実施します。
この提案は、企業が公開する予定のあるモデルからのリスクに対処するためだけのものなのでしょうか。もし企業が最先端モデルを開発しながらも、それを公開せず、より強力な AI 能力の開発のために内部でのみ運用する場合、その企業はこの監督スキームから免除されるのでしょうか。
コナー・リーヒ氏：
デミス・ハサビス氏が正しいのは、AGI（そしてスーパーインテリジェンス）に迫る中でリスクに対処するための緊急対応が必要だという点ですが、脅威に対する適切な対応は「業界による自主規制機関」を設けることではありません。
私たちが目指すべきは、スーパーインテリジェンスの禁止です。業界に規制権限を与えるべきではありません。
アロン・シャー：「人類の絶滅リスク」「あと数年しかない」「産業革命の 10 倍」といった言葉は、「モデルを評価して能力を理解し、自主的な安全基準を作ろう」という方向を示すものではありません。むしろ、私たちは一歩引くべきです。ASI（人工超知能）の開発を止める必要があります。
2 点目：添付された引用にある通り、時間をかける必要があるという点には同意します。しかし、デミス氏の楽観視は単なる「雰囲気」に過ぎず、予測の信頼できる根拠になるとは思えません。ロブ・マイルズが動画で最もよく表しているように、「もし 200 年前に地球へ向かってくる小惑星があったとしたら、私たちはただ死んでいただろう」ということです。
3 点目：他の指摘にある通り、この提案が内部での導入に伴うリスクを減らすものかどうかは不明です。どうやらこれは公開展開や事前テストに焦点を当てているようですが、実際には内部での導入こそが多くのリスクを生む場所なのです。
4 点目：提案された機関が実際に減速措置を実行し、検証し、強制できるのか疑問です。「自主的」という部分に曖昧さがあります。やはり必要なのは、長期的な国際条約の締結であり、ほんの少し遅らせることではなく、根本的に開発を止めることです。
将来の AI 能力への懐疑論者たち
ティモシー・リーは、1945 年までに生活水準を重み付けした指標で、既存の知能や情報よりも優れた知性から得られる技術的価値の 10% 以上を発見済みだという理論に異議を唱えています。私はこれが影響を測る唯一の方法だとは思いません。もしそうだとすれば、それは「特定の時点での話」なのか「生涯を通じての話」なのか、また「人間らしさ」をどこまで制限して考えるかによって答えが変わってくるでしょう。
人間としての瞬間ごとの実体験を、QALY（質調整生存年）のように「1 年あたりの質」で測ると仮定し、寿命や老化の経路がほぼ固定されていると考えると、我々はすでに最適化された状態の 10% 以上は達成している可能性が高いでしょう。しかし、老化や病気の完全な治療、そして人々が過小評価しがちなインターネット（およびコンピュータやスマートフォン）の普及、さらに 1945 年当時のような仕事に縛られなくて済む環境——これらを、それ以前に存在したあらゆるものよりも、圧倒的な差で上回る価値があると考えます。ましてや、完全なトランスヒューマニズム的な体験など論外です。天国と地球、そしてあなたの哲学についてさえも、その後の状況が相対的に「平常」に戻ったとしても、こうした変化は別物です。
一方、純粋に GDP の数値だけを見れば、これは非常に実現可能に見えるでしょう。
ノア・スミス氏：第二次産業革命はおよそ 100 年（1870 年から 1970 年）続きました。その間、米国の生活水準は 5 倍に向上しました。
もし産業革命の 10 倍のスピードを、その 1/10 の期間で達成できれば、10 年で生活水準が 50 倍になる計算です。これは年間 GDP が 48% 成長するペースに相当します。
ここで Coinbase CEO のブライアン・アームストロング氏が唱えているような、愚かな異論があります。「AI はソフトウェアと同じだから、規制機関（SRO）は不要だ。既存の法律やインセンティブで十分だ」という主張です。
DeepMind のバイオレジリエンスへの取り組みについて
DeepMind もまた、バイオレジリエンスに対する自社のアプローチをまとめた 3 ページの声明を発表しました。これは同社が自律的なガバナンス能力を持っているかどうかを試すための一つの指標となり得ます。
同プログラムは、3 つの柱から構成されています。
● 悪意あるアクターによるモデルの誤用を防止する
● 新しいアウトブレイク（発生事例）を迅速に検出する
● これらの事案に対して決定的に対応する
彼らは、多層防御（ディフェンス・イン・デプス）と呼ばれるさまざまな手法を用いて誤用を防ごうとしていますが、その具体的な内容については「少なくともある程度適切に」曖昧なままです。
以下の 4 つの命題のうち、少なくとも一つは真実でなければなりません。
- その手法は機能していない。
- Gemini の性能が十分でないからこそ、その手法は機能しているだけだ。
- アンソロピック社は理由もなく分類器に執着しすぎている。
- アンソロピック社の対策は、莫大なコストを投じているにもかかわらず極めて不十分である。
2 つ目の柱である「アウトブレイクの検出」は、本来世界全体が取り組むべき課題ですが、現状ではほとんど行われていません。DeepMind は支援の道を探っていますが、「自分たちでこの責任を引き受ける」というレベルでの取り組みではありません。Google に対してすら、それが完全に妥当な要求かどうかは微妙なところですが、少なくとも私はその点について調査すべきだと考えます。
3 つ目の柱もまた重要であり、世界が準備できていない領域です。これは必ずしも Google の管轄事項ではありません。彼らは AI を活用して何らかの支援を試みていますが、この能力レベルで必要とされることの多くは、政府が実施しないことを決めた「通常の予防策や備え」にほかなりません。
つまり、Google は政策決定者に対して、「自分たちの足を動かして、新しい法律や措置を通じて 2 つ目と 3 つ目の課題に取り組むべきだ」と提言しています。提案された詳細を精査するまでもなく、少なくともこれらの施策は実施すべきだと確信しています。
また、フロンティアモデルにおけるバイオ関連のリスクとベネフィットのトレードオフを評価するための連邦枠組みの構築も求められており、これはデミスの提案を補完するものとなるはずです。良い提案です。
第2部：DeepMindが国防総省に屈した件
Google が国防総省との「すべての合法的利用」契約を結ぶのを阻止すべく尽力したアレックス・ターナー氏は、約束を破り、殺傷能力のあるロボットや大量監視に対する制限なくAIを軍事転用させたとして、Google DeepMind を辞任しました。多くの人は声を上げず、「そんなことは起きない」と正当化しましたが、実際に起きてしまいました。現時点でこれに応えて辞任したのは、アレックス・ターナー氏ただ一人です。
ここで明確にしておきたいのは、ジェフ・ディーン氏がこの問題において最大の影響力を行使しきれなかったとしても、他の誰よりも一歩進んだ行動をとったということです。最終的に彼がより強く反対しなかったことに対して非難の矛先を向けず、何もしなかった人々全体と比較して考えるべきです。
DeepMind のリーダーシップは我々を見捨てた
デミス・ハサビス氏には責任があると考えます。彼は現在も、DeepMind の原則が変更されていないと主張し続けています。しかし、それは事実ではありません。
もしデミス氏が Google のCEOであるサンダル・ピチャイ氏に上書きされたり、Google に対する他の圧力によってやむを得なかったりしたのであれば、それは仕方のないことです。デミス氏は王様ではないのです。その場合でも、彼の戦略が失敗していることを示すことにはなりますが、私はそれを受け入れるでしょう。それでもなお、「何も起きていない」と偽ることは許されません。
アンドレアス・キルシュ氏は率直に語り、同様の見解を示しています。彼は DeepMind で働いており、2014 年に約束されたすべての安全対策がすでに撤廃されたことを明確にしています。600 名以上の同僚が署名した公開書簡で Google にこの契約締結の中止を求めましたが、Google は結局、契約を結びました。
弁護士が指摘した通り、またこの問題に関心を持つ人なら誰でも理解しているように、Google の契約条項は全く機能しておらず、政府は好きなように振る舞うことができます。
アンドレアス・キルシュ：これらすべては新しい話ではありません。DeepMind のガバナンス（統治）の記録を振り返ると:
2014 年：独立した倫理委員会設置（売却条件の一つと報じられる）
2015 年：非公式な会議が一度開かれたのみで、その後事実上放棄される
2018 年：AI 原則に「兵器・監視技術の排除」を明記
2025 年：除外規定が削除される
2026 年：ペンタゴンとの契約締結
デミス・ハサビス氏は、異なる賭けに出ました。「信頼できない交渉に費やしていたエネルギーを、真の信頼を築くことに回そう」と。
さらに、「安全対策はガバナンス構造の問題ではない」とも述べています。
ガバナンスではなく「信頼」こそが重要です。ペンタゴンとの契約は、その賭けが成功したかどうかを試す試金石です。
Twitter のスレッド版や、出来事の全貌を記した 25 ページにわたる完全版を読むこともできます。投稿全体には多くの示唆がありますが、長文ゆえにここでは要点だけを引用します。
アレックス・ターナー：最も辛かったのは、AI エシックス（倫理）のリーダーたちが何もしない様子を見守ることでした。ペンタゴンが Anthropic に脅しをかけた際、私は国際安全倫理 AI 協会（IASEAI）が開催した会議に出席していました。私は IASEAI の指導者に行動を求め、ロビー活動を行いました。
最も辛かったのは、AI エシックスのリーダーたちが何もしない様子を見守ることでした。
ペンタゴンがアンソロピックに対して圧力をかけた際、私は国際安全倫理 AI 協会（IASEAI）が開催した会議に参加していました。そこで IASEAI の指導部に働きかけ、行動を起こすよう求めました。
ステージ上では、IASEAI のリーダーたちがアンソロピックを支持する声明を出すための構成員投票を行うと発表しました。~ 挙手による賛成は全会一致でした。しかし、その投票結果は消え去り、IASEAI は沈黙を守りました。グーグルに対して影響力を行使できる 2 か月間の機会を無視したのです。
グーグル内部では、チーフサイエンティストのジェフ・ディーン氏に戦うよう求める請願書を組織しました。250 名以上の GDM（Google DeepMind）従業員が署名しました。また、アンソロピックを支持する友人の意見書への署名もジェフ氏に依頼しました。彼は快く署名に応じ、素晴らしいことでした。
… 私は、将来的な審査機関の議長をジェフ氏が務めるべきだと提案しましたが、彼はその提案を推進しませんでした。結局のところ、彼は影響力を行使しなかったと思います。契約成立を防ぐことは可能だったのに、しなかったのです。最後の手段として、私は直接 Google DeepMind の CEO であるデミス・ハサビス氏にメッセージを送りました。彼は私の提案を 2 人のシニア政策スタッフへ送るよう指示しました。しかし、その提案は放置されたまま、グーグルが契約に署名するまで何の動きもありませんでした。
2018 年、デミス氏とジェフ氏、そして DeepMind 自体は、「致死性自律兵器の開発や利用に参加せず、またそれを支持しない」という誓約を交わしていました。
グーグルは契約に署名しましたが、これらの誓約者は今もなおその地位にあります。私は誠実な道が三つあると考えています。説明するか、誓約を撤回するか、あるいは辞任することです。沈黙していることは、そのいずれにも含まれません。
デミス・ハサビスが選んだ道は、何の変化もないと主張することです。彼は「我々の原則は何も変わっていない」と言いますが、同時に Google の AI 原則から兵器禁止条項を削除した論文の共著者でもあります。この二つの主張が同時に真実であるはずはありません。
状況が悪化すれば、誰かが権力を持って「ノー」と言うのを待つ人は多いです。私は数ヶ月にわたりその可能性を試しましたが、Anthropic がレッドラインを守った一方で、他の多くは守りませんでした。良心に基づく誓約は、権力という現実と接触するとたちまち消えてしまうものです。
より具体的には、私の見解ではこうでした：ジェフをこの件で辞任させるために同意を得る必要はないのです。ある意味で、彼はすでにその件で辞意を示していました。彼が 2018 年に署名した誓約書があるからです。
Lethal Autonomous Weapons Pledge
Signed by 5,218 people
人間の命を奪う決定を機械に委ねてはなりません。この立場には道徳的な側面があります。他者、あるいは誰も責任を負えないような人命に関わる判断を機械に任せてはならないのです。また、強力な実用的な論拠もあります。人間が介入せずに標的を選択し攻撃する致死性自律兵器は、すべての国と個人にとって危険な不安定要因となるでしょう。 […]
人間の命を奪うリスク、責任の所在、難易度を排除してしまうことで、致死性自律兵器は暴力や抑圧のための強力な手段となり得ます。特に監視システムやデータシステムと連携した場合、その危険性は増大します。 […]
署名者一同は、政府および政府指導者に対し、致死性自律兵器に対する強力な国際規範、規制、法律を制定するよう呼びかけます。現状ではこれらの枠組みが欠如しているため、私たちは自らに高い基準を課すことを選択します：致死性自律兵器の開発、製造、取引、あるいは使用には、いかなる形でも関与せず、支援もしません。
署名者には、Google DeepMind（組織）、デミス・ハサビス氏、シェーン・レッグ氏（共同創業者、現 Chief AGI Scientist）、ライア・ハドセル氏（研究担当副社長）、ジェイ・ヤグニク氏（Google 副社長兼エンジニアリングフェロー、Google AI の主要部分を統括）、そしてジェフ・ディーン氏が含まれています。
しかし残念ながら、この呼びかけが辞意表明につながったわけではありません。
私たちが学ぶべき失敗
Google DeepMind の多くの人々が、このような事態を避けるためにさまざまな取り組みを行いました。しかし、結果は失敗に終わりました。
DeepMind における自律的なガバナンスの仕組みは機能しませんでした。従業員たちは声を上げ、中には目立つ形で発言した者もいましたが、その声は届かず、最も影響力のある立場にある人々がその力を行使しなかったのです。Google に売却する際に交わされた約束も、果たされませんでした。
長期的には、これが DeepMind の優秀な人材の採用、動機付け、そして定着に悪影響を及ぼすことになります。Google には多数の大きな優位性があるにもかかわらず、DeepMind は OpenAI や Anthropic に後れを取っています。その最大の理由の一つが、優秀な人材を採用・維持し、適切に活用できないという点です。リーダー層にも優れた人材はいますが、彼ら alone で全てを成し遂げることはできません。
デミス・ハサビス氏の発言自体は称賛に値しますが、他者に行動を呼びかけながら、その後に具体的な結果や責任が伴わなければ、それは単なる安っぽい口約束（チープ・トーク）で終わってしまうリスクがあります。
私が願うのは、この議論が単なる口約束で留まらず、前向きな一歩へと踏み出すことです。道は容易ではないでしょうが、私たちはその機会を手にしています。ぜひ、このチャンスを最大限に活かしましょう。
原文を表示
Google CEO Demis Hassabis offered us a first rate second rate essay, A Framework for Frontier AI and the Dawning of a New Age. I’ll go over that essay and various responses to it in Part 1.
Part 2 of this post then covers Alex Turner’s resignation, and his story about how he tried and failed to prevent Google from signing up to allow the Department of War to use its models for essentially whatever the government wants, including autonomous weapons.
Demis Hassabis sold DeepMind to Google on condition that something like this would not happen. Yet here it is, happening. A cautionary tale.
I will cover Kimi K3 tomorrow. I am hoping to know more by then. Please do share any reactions or info about it in the comments here.
The Core Statement and Request
He saying we are standing in the foothills of the singularity.
His ask is a Frontier AI Standards Body within the US Government, similar to FINRA, that would govern ‘frontier labs,’ defined as any company that produces a frontier model based on various technical benchmarks. Evaluations would be updated regularly, and vulnerabilities would be addressed, both before and after release.
He is excellent about stating that this is big, really big, no bigger than that, it be big.
Demis Hassabis: I’ve spent my whole life working on AGI because I’ve always had a deep conviction that, if built and deployed responsibly, it would prove to be one of the most beneficial and transformative technologies ever invented. AGI cannot be compared to standard technological breakthroughs, not even ones as consequential as the internet or mobile - it is much more akin to the discovery of electricity or fire. If you stop to think about it, we’ve essentially found a way to make sand think. It’s miraculous.
The magnitude of this technology’s impact will be unprecedented, perhaps 10x of the Industrial Revolution at 10x the speed. It will help us solve some of the biggest problems society faces from accelerating drug discovery to developing new clean energy sources to creating novel advanced materials. We could even reach a point where resources are no longer the limiting factor for human progress, leading to an amazing new era of abundance.
Things Left Unsaid
There is definitely a ‘don’t say the thing’ aspect of this, where he won’t name what the downside risks actually are. When Demis says ‘experts disagree’ he is rather avoidant about the way in which they disagree here.
Nate Soares (MIRI): I’m glad Demis acknowledges that this is a “pivotal moment in human history” during an “extremely intense” race. I’m disappointed that his proposed solution is a “standards body” to evaluate whether models are dangerous, with no plan for what to do once they are.
I’m glad he acknowledges that “experts disagree.” I’m annoyed that he glosses past how the disagreement is about whether there’s a ~5% or ≥50% chance of total catastrophe. We’ve gotta do better.
Aaron Scher: Glad to see AI CEOs speaking publicly about their views on AGI. I think Demis is wrong about his policy prescription: it’s far too little too late. When he says the experts disagree, he means that some think 5% this tech kills literally everybody, some at 40%, some at 90%.
Clearly this is strategic, but if you don’t already know, or are looking to not realize, it is very easy to come away thinking that Demis does mean the effect on jobs, even though when he says ‘safely’ he very much does not (primarily) mean that.
The Proposal
Demis Hassabis: … On the horizon, we will need robust safeguards to maintain control of increasingly agentic, recursively self-improving systems - and tackle unknown issues that will only become clearer over time.
… I’ve always believed in the power of human ingenuity and creativity to solve any problem. I’m confident that mitigating the technical risks related to AI is a challenge we can collectively address, but only if we give ourselves the time and space to get this next crucial step right. Currently, as a field and as a wider society, we aren’t doing that.
He makes clear part of this is about giving us options, including for a slowdown.
The strength of this approach is it would be technically focused, while at the same time supporting innovation and incentivising responsible behaviour. It is designed to keep up with the field’s acceleration and adapt to the biggest risks as they are identified, and could be ratcheted up if the seriousness of the situation demands, including coordinating a slowdown in development among the Frontier Labs if deemed necessary.
Demis keeps it short, not offering many details. To the extent that he has laid out a proposal, it seems to be a good one. It is definitely an improvement on the margin.
Jack Clark (Anthropic): At this point, everyone at the frontier of AI agrees that third-parties should test out AI systems and use these to develop standards to feed into policy - excellent to see @demishassabis laying out a framework to do this!
Samuel Hammond: It is striking to see leadership at Google, Anthropic, OpenAI and Microsoft all fairly independently sounding warning alarms about an imminent technological acceleration.
Thus I file this post and its ask, as high praise, under ‘the least you could do.’
A Good Start But Insufficient
I agree with Peter Wildeford that while better than nothing FINRA is not a great model here, with heightened risk of regulatory capture, and not a substitute for full government action. You need an SEC to your FINRA. That doesn’t mean don’t make the FINRA. It does mean you still need the SEC.
Would such a (at least partly) voluntary regime, only for models intended for release, and without a related binding intentional agreement, be sufficient to solve the problem? No, again it’s just way better than doing nothing, as Peter Wildeford and many others noted.
You do not need to believe, as Aaron Scher and Connor Leahy do below, that only a full halt would be sufficient here, to know we have a long way to go. Demis’s statements here, if you know what they actually mean, imply a level of danger and urgency that is not reflected in the proposal.
Eli Tyre: > Initially, Frontier Labs would voluntarily share models with the Standards Body for review up to 30 days before release.
Is this proposal only intended to address risks from models that companies plan to release? If a company develops a frontier model and never releases it, only deploying it internally to develop even more powerful AI capabilities, are they thereby exempt from this oversight scheme?
Connor Leahy: While @demishassabis is right that we need urgent action to address risks as we approach AGI (and superintelligence, I’d add), the correct response to the threats is not a ‘self-regulatory organization’.
We need to prohibit superintelligence, not give industry regulatory power.
Aaron Scher: … The extinction threat, the “only a few short years”, the “10x the Industrial Revolution”—these aren’t indicators that point to “let’s evaluate models to understand their capabilities and have voluntary safety standards”. We need to back off, we need to halt the creation of ASI.
Point 2: I agree with the attached quote that we need more time. But I think Demis’s optimism is a vibe, not a trustworthy basis for predictions. Rob Miles says it best in this video, if an asteroid we’re headed earth’s way 200 years ago, we’d just die 路
Point 3: As others have pointed out, it’s not clear that this proposal would reduce risks from internal deployment (it seems to focus on public deployment and pre-deployment testing), but internal deployment is where much of the risk is.
Point 4: I don’t think the proposed body could actually enact, verify, and enforce a slowdown; there’s ambiguity about what’s voluntary. Again, I think we need a long-term international treaty and to actually back off, not just to slow down a little.
Skeptics Of Future AI Capabilities
Timothy Lee dissents on the theory that we have already discovered more than 10% of available technological value from superior intelligence and information by 1945, as weighted by living standards. I don’t think that is the only way to measure impact. If it is, then it depends on if you mean at a given point in time or over a lifetime, and how ‘still human’ you are restricting the experience to being.
In terms of moment-to-moment lived experience as a basically human entity, measured the way we would for the quality per year in a QALY measurement, if you assume a mostly fixed lifespan and path of aging, I think it is likely we are more than 10% of the way to optimal. However, I would take a cure for aging and disease, plus the internet (and computers and phones) which people underestimate bigly, plus not having to work a job like those in 1945, over everything that came before, by a very wide margin, let alone full transhumanist experiences. Something about heaven and Earth and your philosophy, even if things stay relatively ‘normal’ afterwards.
Whereas if we’re just looking at pure GDP numbers? That seems super doable.
Noah Smith: The Second Industrial Revolution lasted roughly 100 years -- 1870 to 1970. In that time, living standards in the U.S. quintupled.
10x the Industrial Revolution in 1/10th the time would be a 50x increase in living standards in 10 years -- a 48% annual GDP growth rate.
The stupid dissent, espoused here by Coinbase CEO Brian Armstrong, is ‘oh AI is like software so we don’t even need an SRO, existing laws and incentives are fine.’
DeepMind On Bioresilience
DeepMind also released this three page statement on their approach to bioresilience, which can serve as an example test of their ability to self-govern.
The program has three pillars:
● Prevent threat actors from misusing our models.
● Detect new outbreaks quickly.
● Respond decisively to these outbreaks.
They are using a variety of methods to prevent misuse via defense-in-depth, of which they are (at least somewhat appropriately) vague.
At least one of these four must be true:
Their methods don’t work.
Their methods only work because Gemini is not good enough.
Anthropic is going nuts with its classifiers for no reason.
Anthropic’s countermeasures are very incompetent in an expensive way.
The second pillar, detecting outbreaks, is something the world should be doing anyway, but it mostly isn’t. DeepMind is looking for ways to help, but not on the level of ‘we are taking this responsibility on ourselves.’ That’s not an entirely reasonable thing to ask even of Google, but I’d look into it.
The third pillar is again important, a place where the world is not prepared, and not exactly Google’s department. They are trying to help somewhat via use of AI, but most of what must be done at this capability level is ordinary prevention and preparedness work that our government has decided not to do.
Thus, Google suggests that policymakers get off their collective asses and do the second and third things via various new laws and actions. Without looking into their proposed details I am confident we should at least do these things.
They also call for a federal framework to judge risk-benefit tradeoffs in bio for frontier models, which would presumably be a complement to Demis’s proposal. Good.
Part 2: DeepMind Folds To The Department of War
After heroic efforts to stop Google from signing an ‘all lawful use’ deal with the Department of War, Alex Turner resigns from Google DeepMind because they broke their promise and sold AI to the military with no restrictions against killer robots or mass spying. Lots of people did not raise their voice and justified it because they said it would not happen. Then it happened. So far only Alex Turner is quitting in response.
One thing I want to be clear on here is that, even though Jeff Dean failed to use his full leverage on this issue, Jeff Dean went farther than most anyone else. I don’t want anyone to focus their blame on Jeff Dean for ultimately not opposing this more strongly, as opposed to all those who did nothing at all.
DeepMind Leadership Failed Us
I do think Demis Hassabis is blameworthy here. He continues to insist that DeepMind’s principles are unchanged and unviolated. This is not the case.
If Hassabis was overruled by Google CEO Sundar Pichai or otherwise had no choice, perhaps due to other leverage brought against Google, that happens and Demis Hassabis is not a king. I would have accepted that, although it would have showed that his strategy of steering Google was failing. Even then, it does not excuse pretending that nothing happened.
Andreas Kirsch speaks plainly and offers a similar read. Andreas works at DeepMind, and has made clear that all the safeguards promised in 2014 have now been erased. More than 600 colleagues signed an open letter asking Google not to sign this contract, and then Google went ahead and still signed the contract. As a lawyer pointed out and as should be clear to anyone who follows the issue, Google’s contract terms here are completely ineffective and the government can do whatever it wants.
Andreas Kirsch: None of this is new. DeepMind’s governance record:
2014: independent ethics board — reportedly a condition of the sale
2015: one informal meeting; then effectively abandoned
2018: AI Principles exclude weapons & surveillance
2025: exclusions dropped
2026: Pentagon contract
Demis Hassabis then made a different bet: “Take the energy that was going into the trustless negotiation and put it into creating real trust.”
And: “Safety isn’t about governance structures.”
Trust instead of governance. The Pentagon contract is the litmus test of that bet.
You can read the Twitter thread version, or the 25-page full version of what happened. The whole post is telling, but long post is long. I will quote from the thread.
Alex Turner: What hurt most was watching AI ethics leaders do nothing. When the Pentagon threatened Anthropic, I was at a conference held by the International Association for Safe and Ethical AI. I lobbied IASEAI leaders to act.
What hurt most was watching AI ethics leaders do nothing.
When the Pentagon threatened Anthropic, I was at a conference held by the International Association for Safe and Ethical AI. I lobbied IASEAI leaders to act.
On stage, IASEAI leadership announced a member vote on making a statement supporting Anthropic. ~Unanimous show of hands supported it. But the vote vanished. IASEAI went silent, ignoring two months of opportunities to sway Google.
Inside Google: I organized a petition to Chief Scientist Jeff Dean asking him to fight. Over 250 GDM employees signed. I also asked Jeff to sign an amicus brief backing Anthropic. He did, which was awesome.
… I proposed that Jeff head the potential Review Body, but he didn’t champion the proposal. In the end, I don’t think he used his leverage. I think he could have stopped the deal but didn’t. As a last attempt, I directly messaged Google DeepMind’s CEO, Demis Hassabis. He told me to send my proposal to two senior policy staff. They let the proposal wilt unattended until Google signed the deal.
In 2018, Demis, Jeff, & DeepMind itself pledged to neither “participate in nor support the development [..] or use of lethal autonomous weapons.”
Google signed, yet these pledgers remain. I see three honest paths: explain, renounce the pledge, or quit. Silence isn’t one of them.
Here’s a path Demis has chosen: deny anything has changed. He claims “nothing’s changed about our principles”, yet he co-authored the post removing the weapons prohibition from Google’s AI Principles. Both cannot be true.
Many hope that when things get bad enough, someone powerful will say “no.” I tested that for months. Anthropic defended its red lines, but most did not. Pledges of conscience often vaporize on contact with power.
More specifically:
The way I saw it was: I don’t need to get Jeff to agree to quit over this. In a sense, he’d already agreed to quit over it. He had signed a pledge in 2018:
Lethal Autonomous Weapons Pledge
Signed by 5,218 people
The decision to take a human life should never be delegated to a machine. There is a moral component to this position, that we should not allow machines to make life-taking decisions for which others—or nobody—will be culpable. There is also a powerful pragmatic argument: lethal autonomous weapons, selecting and engaging targets without human intervention, would be dangerously destabilizing for every country and individual. […]
By removing the risk, attributability, and difficulty of taking human lives, lethal autonomous weapons could become powerful instruments of violence and oppression, especially when linked to surveillance and data systems. […]
We, the undersigned, call upon governments and government leaders to create a future with strong international norms, regulations and laws against lethal autonomous weapons. These currently being absent, we opt to hold ourselves to a high standard: we will neither participate in nor support the development, manufacture, trade, or use of lethal autonomous weapons.’
Signers include: Google DeepMind (the organization), Demis Hassabis, Shane Legg (cofounder, now Chief AGI Scientist), Raia Hadsell (VP of Research), Jay Yagnik (VP and Engineering Fellow at Google, leading large parts of Google AI) and Jeff Dean.
Alas, no, that did not translate into willingness to quit.
This Was a Failure We Must Learn From
Many at Google DeepMind made various efforts to avoid this outcome. They failed.
The mechanisms of self-government of DeepMind failed. Its employees spoke up, some prominently, but it was not enough, and those with the highest leverage did not use it. The promises made when they sold to Google have been broken.
In the long run, this will impact DeepMind’s ability to recruit, motivate and retain the best talent. Google and DeepMind are losing to OpenAI and Anthropic, despite Google’s numerous large advantages. Inability to recruit and retain and properly use the best talent is a lot of why. They have some great talent in leadership, but those leaders cannot do it alone.
Demis Hassabis is to be applauded for his statement, but calls on others to do things, without any consequences following, risks becoming only cheap talk.
My hope is that it can become more than cheap talk, and move the conversation forward. It won’t be easy, but we have an opportunity. Let’s make the most of it.
関連記事
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み