ハサビス氏、新時代のAI枠組みを語る

Google のCEO、デミス・ハサビス氏が発表した「フロンティアAIの枠組みと新時代の幕開け」というエッセイは、一見すると質の高いものに見えますが、実態は二流のものです。本稿の第1部では、このエッセイとその反響について詳しく解説します。

続く第2部では、アレックス・ターナー氏の辞任と、その背景にある物語を取り上げます。彼は政府が自社のモデルを「ほぼ何でも」行うために使用することを許可する契約にGoogle が署名するのを防ぐことに失敗した経験について語っています。そこには自律型兵器の使用も含まれます。

デミス・ハサビス氏は、DeepMind を Google に売却する際、このような事態が起きないことを条件としていました。しかし、まさに今、そのことが起こっているのです。これは教訓となる物語です。

明日は Kimi K3 について取り上げます。それまでにさらに詳しい情報が得られることを願っています。コメント欄で反応や情報を共有していただけると幸いです。

核心となる主張と要請

氏は、私たちが特異点のふもとの丘陵に立っていると述べています。

彼の求めるものは、米政府内に「フロンティアAI 基準機関」を設けることです。これは金融業界規制団体である FINRA に似た組織で、「フロンティア・ラボ」と呼ばれる企業を監督する役割を果たします。ここでいう「フロンティア・ラボ」とは、各種の技術的ベンチマークに基づいてフロンティアモデルを生産するあらゆる企業を指します。

評価基準は定期的に更新され、脆弱性についてはリリース前およびリリース後の両方で対応が講じられることになります。

氏は、これが非常に大きな問題であり、その規模は「それ以上でも以下でもない」という点について、非常に明確に述べています。つまり、これは本当に巨大な課題だということです。

デミス・ハサビス氏：私は生涯をかけて AGI（汎用人工知能）の実現に取り組んできました。その背景には、責任を持って構築し展開されれば、人類がこれまで発明してきた技術の中で最も有益で変革的なものになるという確固たる信念があるからです。

AGI はインターネットやモバイル端末のような一般的な技術的ブレイクスルーとは比較できません。それらはむしろ、電気の発見や火の使用の開始に匹敵するものです。よく考えてみてください。私たちは本質的に「砂」に思考させる方法を見つけたのです。これは奇跡的な出来事です。

この技術がもたらすインパクトは前例のない規模になるでしょう。産業革命の 10 倍の影響力を、その 10 倍のスピードで実現する可能性があります。これにより、社会が直面している最大の課題の数々を解決できるはずです。創薬の加速や新たなクリーンエネルギー源の開発、そして革新的な先進材料の創出などが挙げられます。いずれは資源が人類の進歩におけるボトルネックではなくなる段階に達し、驚くべき豊かさの新しい時代を迎えることも可能になるでしょう。

言及されなかったこと

ここには明らかに「あえて触れない」という側面があります。デミス氏は具体的なリスクやネガティブな側面を名前を挙げて説明していません。「専門家の間で意見が分かれている」と言う際にも、彼らがどのように意見が対立しているのかについては、あえて曖昧にしています。

Nate Soares（MIRI）：デミス氏がこれを「人類史上の重要な転換点」であり、「極めて過酷な競争」の一部であると認めたことは嬉しく思います。しかし、危険なモデルと判断された後の具体的な対応策を示さず、単に評価を行う「基準設定機関」を提案している点には失望しています。

「専門家の間で意見が分かれている」と認めた点には、私も共感します。ただ、その意見の相違が「大惨事が起きる確率が約 5% か、それとも 50% 以上か」という根本的な問題について触れずに流していることには腹立たしさを感じます。私たちはもっと真剣に取り組むべきです。

アロン・シャー：AI の CEO が AGI（汎用人工知能）に関する見解を公に語るようになったのは喜ばしいことです。しかし、デミスの提言する政策は、あまりにも手薄で、そして遅すぎると私は考えます。「専門家の間で意見が分かれている」と言うとき、彼が指しているのは、「この技術が人類全員を絶滅させる確率が 5% だと言う人もいれば、40% や 90% と考える人もいる」という事実です。

これは戦略的な発言であることは明らかですが、もしあなたがすでにその意図を理解していないか、あるいは理解したくないと願っているなら、「デミスは雇用への影響について言っているのだ」と誤解するのは非常に容易です。ただし、彼が「安全に（safely）」という言葉を使う際、主たる意味は雇用問題にはありません。

提案

デミス・ハサビス：近い将来、ますます自律性を持ち、再帰的に自己改良を行うシステムを制御し続けるためには、堅牢なセーフガードが必要です。また、時間とともに明らかになっていく未知の課題にも取り組まなければなりません。

…私は常に、人間の創意工夫と創造性があらゆる問題を解決する力を持つと信じてきました。AI に関連する技術的リスクを軽減することは、私たちが共同で取り組むべき課題だと確信しています。ただし、次の重要な一歩を確実に踏み出すために、私たち自身に時間と余地を与えることが条件です。現状では、業界全体として、また社会全体としても、そのように行動できていません。

彼が強調しているのは、選択肢を用意することの一部であり、その中にはペースダウンのオプションも含まれています。

このアプローチの強みは、技術的な焦点を維持しつつ、イノベーションを支援し、責任ある行動を促す点にあります。これは業界の加速に対応し、特定される最大のリスクに適応するために設計されており、状況の深刻さによっては開発の遅延などを含めて調整を強化することも可能です。

デミス氏は要点を簡潔に述べるにとどめ、詳細には踏み込みませんでした。彼が提案した内容に限れば、これは良い案であるように思えます。間違いなく、現状を少しだけ改善するものです。

ジャック・クラーク（Anthropic）：現在、AI の最前線にいる誰もが、第三者による AI システムのテストと、それを基にした基準策定、そして政策への反映が必要だと認識しています。@demishassabis 氏がこのための枠組みを提示したことは素晴らしいことです。

サミュエル・ハモンド：Google、Anthropic、OpenAI、Microsoft の各社のリーダーが、ほぼ独立して「差し迫った技術的加速」に対する警鐘を鳴らしている姿は印象的です。

よって私は、この記事とその要望を、「最低限やるべきこと」というカテゴリに分類し、高く評価します。

良いスタートだが不十分

ピーター・ウィルデフォードの意見に賛同します。何もしないよりはマシですが、FINRA（米国金融業規制連合）はこの文脈では優れたモデルとは言えません。規制当局が業界に牛耳られるリスクが高いためです。また、政府による包括的な措置を代替するものでもありません。FINRA を作るなと言っているのではありません。しかし、SEC（米国証券取引委員会）のような存在も必要だということです。

少なくとも部分的に自主的な規制制度を、公開されるモデルのみに適用し、関連する法的拘束力のある合意を伴わない場合、この問題は解決できるのでしょうか。答えはノーです。ピーター・ウィルデフォード氏や多くの他の識者が指摘するように、何もしないよりは遥かにマシではあるものの、それで十分とは言えません。

アロン・シャー氏とコナー・リーヒ氏が主張するような「完全な停止こそが唯一の解決策である」という信念を持っていなくても、私たちがまだ長い道のりを歩まねばならないことは明らかです。デミスの発言は、その真意を理解すれば、提案書には反映されていないような危険性と緊急性を暗示しています。

イライ・タイア氏：

当初、フロンティア・ラボスは、公開の 30 日前までに標準化団体へモデルを共有し、審査を受けることを自主的に実施します。

この提案は、企業が公開する予定のあるモデルからのリスクに対処するためだけのものなのでしょうか。もし企業が最先端モデルを開発しながらも、それを公開せず、より強力な AI 能力の開発のために内部でのみ運用する場合、その企業はこの監督スキームから免除されるのでしょうか。

コナー・リーヒ氏：

デミス・ハサビス氏が正しいのは、AGI（そしてスーパーインテリジェンス）に迫る中でリスクに対処するための緊急対応が必要だという点ですが、脅威に対する適切な対応は「業界による自主規制機関」を設けることではありません。

私たちが目指すべきは、スーパーインテリジェンスの禁止です。業界に規制権限を与えるべきではありません。

アロン・シャー：「人類の絶滅リスク」「あと数年しかない」「産業革命の 10 倍」といった言葉は、「モデルを評価して能力を理解し、自主的な安全基準を作ろう」という方向を示すものではありません。むしろ、私たちは一歩引くべきです。ASI（人工超知能）の開発を止める必要があります。

2 点目：添付された引用にある通り、時間をかける必要があるという点には同意します。しかし、デミス氏の楽観視は単なる「雰囲気」に過ぎず、予測の信頼できる根拠になるとは思えません。ロブ・マイルズが動画で最もよく表しているように、「もし 200 年前に地球へ向かってくる小惑星があったとしたら、私たちはただ死んでいただろう」ということです。

3 点目：他の指摘にある通り、この提案が内部での導入に伴うリスクを減らすものかどうかは不明です。どうやらこれは公開展開や事前テストに焦点を当てているようですが、実際には内部での導入こそが多くのリスクを生む場所なのです。

4 点目：提案された機関が実際に減速措置を実行し、検証し、強制できるのか疑問です。「自主的」という部分に曖昧さがあります。やはり必要なのは、長期的な国際条約の締結であり、ほんの少し遅らせることではなく、根本的に開発を止めることです。

将来の AI 能力への懐疑論者たち

ティモシー・リーは、1945 年までに生活水準を重み付けした指標で、既存の知能や情報よりも優れた知性から得られる技術的価値の 10% 以上を発見済みだという理論に異議を唱えています。私はこれが影響を測る唯一の方法だとは思いません。もしそうだとすれば、それは「特定の時点での話」なのか「生涯を通じての話」なのか、また「人間らしさ」をどこまで制限して考えるかによって答えが変わってくるでしょう。

人間としての瞬間ごとの実体験を、QALY（質調整生存年）のように「1 年あたりの質」で測ると仮定し、寿命や老化の経路がほぼ固定されていると考えると、我々はすでに最適化された状態の 10% 以上は達成している可能性が高いでしょう。しかし、老化や病気の完全な治療、そして人々が過小評価しがちなインターネット（およびコンピュータやスマートフォン）の普及、さらに 1945 年当時のような仕事に縛られなくて済む環境——これらを、それ以前に存在したあらゆるものよりも、圧倒的な差で上回る価値があると考えます。ましてや、完全なトランスヒューマニズム的な体験など論外です。天国と地球、そしてあなたの哲学についてさえも、その後の状況が相対的に「平常」に戻ったとしても、こうした変化は別物です。

一方、純粋に GDP の数値だけを見れば、これは非常に実現可能に見えるでしょう。

ノア・スミス氏：第二次産業革命はおよそ 100 年（1870 年から 1970 年）続きました。その間、米国の生活水準は 5 倍に向上しました。

もし産業革命の 10 倍のスピードを、その 1/10 の期間で達成できれば、10 年で生活水準が 50 倍になる計算です。これは年間 GDP が 48% 成長するペースに相当します。

ここで Coinbase CEO のブライアン・アームストロング氏が唱えているような、愚かな異論があります。「AI はソフトウェアと同じだから、規制機関（SRO）は不要だ。既存の法律やインセンティブで十分だ」という主張です。

DeepMind のバイオレジリエンスへの取り組みについて

DeepMind もまた、バイオレジリエンスに対する自社のアプローチをまとめた 3 ページの声明を発表しました。これは同社が自律的なガバナンス能力を持っているかどうかを試すための一つの指標となり得ます。

同プログラムは、3 つの柱から構成されています。

● 悪意あるアクターによるモデルの誤用を防止する

● 新しいアウトブレイク（発生事例）を迅速に検出する

● これらの事案に対して決定的に対応する

彼らは、多層防御（ディフェンス・イン・デプス）と呼ばれるさまざまな手法を用いて誤用を防ごうとしていますが、その具体的な内容については「少なくともある程度適切に」曖昧なままです。

以下の 4 つの命題のうち、少なくとも一つは真実でなければなりません。

1. その手法は機能していない。
2. Gemini の性能が十分でないからこそ、その手法は機能しているだけだ。
3. アンソロピック社は理由もなく分類器に執着しすぎている。
4. アンソロピック社の対策は、莫大なコストを投じているにもかかわらず極めて不十分である。

2 つ目の柱である「アウトブレイクの検出」は、本来世界全体が取り組むべき課題ですが、現状ではほとんど行われていません。DeepMind は支援の道を探っていますが、「自分たちでこの責任を引き受ける」というレベルでの取り組みではありません。Google に対してすら、それが完全に妥当な要求かどうかは微妙なところですが、少なくとも私はその点について調査すべきだと考えます。

3 つ目の柱もまた重要であり、世界が準備できていない領域です。これは必ずしも Google の管轄事項ではありません。彼らは AI を活用して何らかの支援を試みていますが、この能力レベルで必要とされることの多くは、政府が実施しないことを決めた「通常の予防策や備え」にほかなりません。

つまり、Google は政策決定者に対して、「自分たちの足を動かして、新しい法律や措置を通じて 2 つ目と 3 つ目の課題に取り組むべきだ」と提言しています。提案された詳細を精査するまでもなく、少なくともこれらの施策は実施すべきだと確信しています。

また、フロンティアモデルにおけるバイオ関連のリスクとベネフィットのトレードオフを評価するための連邦枠組みの構築も求められており、これはデミスの提案を補完するものとなるはずです。良い提案です。

第2部：DeepMindが国防総省に屈した件

Google が国防総省との「すべての合法的利用」契約を結ぶのを阻止すべく尽力したアレックス・ターナー氏は、約束を破り、殺傷能力のあるロボットや大量監視に対する制限なくAIを軍事転用させたとして、Google DeepMind を辞任しました。多くの人は声を上げず、「そんなことは起きない」と正当化しましたが、実際に起きてしまいました。現時点でこれに応えて辞任したのは、アレックス・ターナー氏ただ一人です。

ここで明確にしておきたいのは、ジェフ・ディーン氏がこの問題において最大の影響力を行使しきれなかったとしても、他の誰よりも一歩進んだ行動をとったということです。最終的に彼がより強く反対しなかったことに対して非難の矛先を向けず、何もしなかった人々全体と比較して考えるべきです。

DeepMind のリーダーシップは我々を見捨てた

デミス・ハサビス氏には責任があると考えます。彼は現在も、DeepMind の原則が変更されていないと主張し続けています。しかし、それは事実ではありません。

もしデミス氏が Google のCEOであるサンダル・ピチャイ氏に上書きされたり、Google に対する他の圧力によってやむを得なかったりしたのであれば、それは仕方のないことです。デミス氏は王様ではないのです。その場合でも、彼の戦略が失敗していることを示すことにはなりますが、私はそれを受け入れるでしょう。それでもなお、「何も起きていない」と偽ることは許されません。

アンドレアス・キルシュ氏は率直に語り、同様の見解を示しています。彼は DeepMind で働いており、2014 年に約束されたすべての安全対策がすでに撤廃されたことを明確にしています。600 名以上の同僚が署名した公開書簡で Google にこの契約締結の中止を求めましたが、Google は結局、契約を結びました。

弁護士が指摘した通り、またこの問題に関心を持つ人なら誰でも理解しているように、Google の契約条項は全く機能しておらず、政府は好きなように振る舞うことができます。

アンドレアス・キルシュ：これらすべては新しい話ではありません。DeepMind のガバナンス（統治）の記録を振り返ると:

2014 年：独立した倫理委員会設置（売却条件の一つと報じられる）

2015 年：非公式な会議が一度開かれたのみで、その後事実上放棄される

2018 年：AI 原則に「兵器・監視技術の排除」を明記

2025 年：除外規定が削除される

2026 年：ペンタゴンとの契約締結

デミス・ハサビス氏は、異なる賭けに出ました。「信頼できない交渉に費やしていたエネルギーを、真の信頼を築くことに回そう」と。

さらに、「安全対策はガバナンス構造の問題ではない」とも述べています。

ガバナンスではなく「信頼」こそが重要です。ペンタゴンとの契約は、その賭けが成功したかどうかを試す試金石です。

Twitter のスレッド版や、出来事の全貌を記した 25 ページにわたる完全版を読むこともできます。投稿全体には多くの示唆がありますが、長文ゆえにここでは要点だけを引用します。

アレックス・ターナー：最も辛かったのは、AI エシックス（倫理）のリーダーたちが何もしない様子を見守ることでした。ペンタゴンが Anthropic に脅しをかけた際、私は国際安全倫理 AI 協会（IASEAI）が開催した会議に出席していました。私は IASEAI の指導者に行動を求め、ロビー活動を行いました。

最も辛かったのは、AI エシックスのリーダーたちが何もしない様子を見守ることでした。

ペンタゴンがアンソロピックに対して圧力をかけた際、私は国際安全倫理 AI 協会（IASEAI）が開催した会議に参加していました。そこで IASEAI の指導部に働きかけ、行動を起こすよう求めました。

ステージ上では、IASEAI のリーダーたちがアンソロピックを支持する声明を出すための構成員投票を行うと発表しました。~ 挙手による賛成は全会一致でした。しかし、その投票結果は消え去り、IASEAI は沈黙を守りました。グーグルに対して影響力を行使できる 2 か月間の機会を無視したのです。

グーグル内部では、チーフサイエンティストのジェフ・ディーン氏に戦うよう求める請願書を組織しました。250 名以上の GDM（Google DeepMind）従業員が署名しました。また、アンソロピックを支持する友人の意見書への署名もジェフ氏に依頼しました。彼は快く署名に応じ、素晴らしいことでした。

… 私は、将来的な審査機関の議長をジェフ氏が務めるべきだと提案しましたが、彼はその提案を推進しませんでした。結局のところ、彼は影響力を行使しなかったと思います。契約成立を防ぐことは可能だったのに、しなかったのです。最後の手段として、私は直接 Google DeepMind の CEO であるデミス・ハサビス氏にメッセージを送りました。彼は私の提案を 2 人のシニア政策スタッフへ送るよう指示しました。しかし、その提案は放置されたまま、グーグルが契約に署名するまで何の動きもありませんでした。

2018 年、デミス氏とジェフ氏、そして DeepMind 自体は、「致死性自律兵器の開発や利用に参加せず、またそれを支持しない」という誓約を交わしていました。

グーグルは契約に署名しましたが、これらの誓約者は今もなおその地位にあります。私は誠実な道が三つあると考えています。説明するか、誓約を撤回するか、あるいは辞任することです。沈黙していることは、そのいずれにも含まれません。

デミス・ハサビスが選んだ道は、何の変化もないと主張することです。彼は「我々の原則は何も変わっていない」と言いますが、同時に Google の AI 原則から兵器禁止条項を削除した論文の共著者でもあります。この二つの主張が同時に真実であるはずはありません。

状況が悪化すれば、誰かが権力を持って「ノー」と言うのを待つ人は多いです。私は数ヶ月にわたりその可能性を試しましたが、Anthropic がレッドラインを守った一方で、他の多くは守りませんでした。良心に基づく誓約は、権力という現実と接触するとたちまち消えてしまうものです。

より具体的には、私の見解ではこうでした：ジェフをこの件で辞任させるために同意を得る必要はないのです。ある意味で、彼はすでにその件で辞意を示していました。彼が 2018 年に署名した誓約書があるからです。

Lethal Autonomous Weapons Pledge

Signed by 5,218 people

人間の命を奪う決定を機械に委ねてはなりません。この立場には道徳的な側面があります。他者、あるいは誰も責任を負えないような人命に関わる判断を機械に任せてはならないのです。また、強力な実用的な論拠もあります。人間が介入せずに標的を選択し攻撃する致死性自律兵器は、すべての国と個人にとって危険な不安定要因となるでしょう。 […]

人間の命を奪うリスク、責任の所在、難易度を排除してしまうことで、致死性自律兵器は暴力や抑圧のための強力な手段となり得ます。特に監視システムやデータシステムと連携した場合、その危険性は増大します。 […]

署名者一同は、政府および政府指導者に対し、致死性自律兵器に対する強力な国際規範、規制、法律を制定するよう呼びかけます。現状ではこれらの枠組みが欠如しているため、私たちは自らに高い基準を課すことを選択します：致死性自律兵器の開発、製造、取引、あるいは使用には、いかなる形でも関与せず、支援もしません。

署名者には、Google DeepMind（組織）、デミス・ハサビス氏、シェーン・レッグ氏（共同創業者、現 Chief AGI Scientist）、ライア・ハドセル氏（研究担当副社長）、ジェイ・ヤグニク氏（Google 副社長兼エンジニアリングフェロー、Google AI の主要部分を統括）、そしてジェフ・ディーン氏が含まれています。

しかし残念ながら、この呼びかけが辞意表明につながったわけではありません。

私たちが学ぶべき失敗

Google DeepMind の多くの人々が、このような事態を避けるためにさまざまな取り組みを行いました。しかし、結果は失敗に終わりました。

DeepMind における自律的なガバナンスの仕組みは機能しませんでした。従業員たちは声を上げ、中には目立つ形で発言した者もいましたが、その声は届かず、最も影響力のある立場にある人々がその力を行使しなかったのです。Google に売却する際に交わされた約束も、果たされませんでした。

長期的には、これが DeepMind の優秀な人材の採用、動機付け、そして定着に悪影響を及ぼすことになります。Google には多数の大きな優位性があるにもかかわらず、DeepMind は OpenAI や Anthropic に後れを取っています。その最大の理由の一つが、優秀な人材を採用・維持し、適切に活用できないという点です。リーダー層にも優れた人材はいますが、彼ら alone で全てを成し遂げることはできません。

デミス・ハサビス氏の発言自体は称賛に値しますが、他者に行動を呼びかけながら、その後に具体的な結果や責任が伴わなければ、それは単なる安っぽい口約束（チープ・トーク）で終わってしまうリスクがあります。

私が願うのは、この議論が単なる口約束で留まらず、前向きな一歩へと踏み出すことです。道は容易ではないでしょうが、私たちはその機会を手にしています。ぜひ、このチャンスを最大限に活かしましょう。