AI #176 パート 2：プラン B

これは、週刊の広範な推測、レトリック、政策、およびアライメント研究をカバーする第 2 部です。

GPT-5.6-Sol のリリースについては本稿では取り扱いません。いつも通り、新しいモデルが提供するものについて数日かけて消化し、他の人々に試して反応してもらう時間を設けます。Sol とその機能については来週の初めに取り上げます。GPT-5.6 システムカードについては 6 月 28 日に既にカバーしました。

また、AI 2027 の続編である Plan A のリリースについても本稿では取り扱いません。この新しいシナリオは、著者たちが今後私たちに取るべき行動について描く肯定的なビジョンです。

Plan A のすべての推奨事項や予測を支持するわけではありませんが、Plan A を読み、それを真剣に受け止めることは支持します。これに取り組んだ一人であるスコット・アレクサンダー（Scott Alexander）は、ここで序文と正当性を記述しています。完全なカバー記事もまもなく公開されます。

目次

静かなる推測。AI 規制はいつまでたっても場当たり的なものとなるのか？

ゴールポストがダイソン球になっている。これにはもう少し時間がかかるかもしれない。

人々はただ何かを言うだけだ。

三つの薬。未服用、AI、AGI、ASI。

健全な規制への探求。ガードレールは必要不可欠です。

OpenAI の国家安全保障原則。良いアイデアだが、どうやって執行するのか？

戦争省からの挨拶。新たな一次文書。

チップシティ。Nvidia は政府の顔に直接、そしてあなたにも嘘をつき続けています。

オープンウェイトモデルは安全ではなく、これを修正できるものはない。時が来た。

彼らの AI プロパガンダボット。ああ、ごめんなさい。これは虐待です。

レトリックの革新。セキュリティマインドセット。

あなたは学ぶ。しかし、それは本当に意味があったのか？

あなたは日焼けして細く、裕福かもしれないが、あなたは単なる道具に過ぎない。一方の私は…

その思考を訓練せよ。エラーを見つけられたのは yay（やったね）、実際のエラーは boo（ダメだ）。とても混乱する。

その思考を排除せよ。GRAM を新しいトレーニング技法として採用せよ。

マイ・オウン・プライベート・アイダホ。隠すものは何もない。プライバシーはまだ価値がある。

人間より賢い知能との整合性は困難である。私の調子はどうかな？

J スペースほど良い空間はない。さて、ここでは何があるか見てみよう。ああ。

協調的アライメント。Sonnet 5 に関する主張。

明るい側面。あなたは良いユーザーではなかった。

静かなる推測

退任したホワイトハウス顧問の Sriram Krishnan は、Donald Trump が AI に対する正式なライセンス制度を支持することは決してないと述べている。

Joe Miller: ホワイトハウスの AI 顧問が去りつつある中、大統領の departing（退任する）AI アドバイザーは、最も先進的なモデルを遅らせるためにホワイトハウスが緊急権限を行使しているにもかかわらず、Donald Trump は AI に対する正式なライセンス制度を確立しないと述べている。

…「この政権、[そして] 大統領は初日から、負担の多い、過酷で官僚的な紅テープ（手続き）に反対してきた」と彼は付け加えた。「私たちは勝者と敗者を選ぶビジネスにはない。」

もしこれが真実なら、彼らは代わりに、完全にその場しのぎの制度（例えば「ガードレールがあるだろう」）を継続することになる。そこでは勝者と敗者は政権の気まぐれによって選ばれることになる。おそらく彼らはこのアプローチに利点があると考えているのだろう。

これにもかかわらず、Sriram の発言は「そしてそれはひどい」という結末で終わるわけではない。

Joe Miller：クリシュナン氏は、モデルを公開する前に「弁護士チームを揃える必要がある」ような中央集権的な機関を設置することは、AI 革命の歯車に「砂を撒き散らすことになる」と述べた。「トランプ大統領の下では、決して決してそんなことは起こらない」と彼は言った。

その代わり、あなたは権力の気まぐれに関わる、完全に不透明で恣意的な臨時の手続きを経なければならないことになる。はるかにマシだと、あなたには見えるだろう。クリシュナン氏はまた、この体制の一環として、主要な AI 企業から株式を強要することも支持している。

Joe Miller：クリシュナン氏は、最先端の AI ツールが政府によって数週間遅らされた場合、「それはおそらく米国のイノベーションにとって悪影響になるだろう」と警告した。

私たちの一部は、数週間の遅延よりもはるかに悪い結果を心配している。GPT-5.6 は昨日から利用可能になっているので、その遅延は迷惑ではあったが、決定的な大問題ではなかった。

Joe Miller：将来の民主党政府が、トランプ政権による一方的な輸出管理の使用を口実に AI の展開を遅らせることができるかどうかを問われ、クリシュナン氏は「私は将来の政府については考えていない。この政府と、この瞬間についてだけ考えている」と答えた。

私たちはそこで問題の一部を見つけたかもしれないと思う。

タイラー・コーエンは、彼ならではの視点で AI と少子化危機がどのように交差するかを考察し、世界を一定に保ちつつ、自分にとって興味深い事柄に焦点を当て、より重要な多くの質問を犠牲にしている。彼は、人々が互いに話し合い、外見や振る舞いを良くすることに集中し、AI とのやり取りに対抗するために独自性や面白さを競うことになる、人口減少した都市の世界を想像する。最初のコメントは、タイラーが社会変化の予測において偏っているとしているが、実際にはタイラーは驚くほど少ない社会変化しか予測していないのだ。

カルロ・コルダスコは、変革的なイノベーションはそのコストがすぐに明確になるが、その利益は時間を経て明らかになると主張する。これは歴史的に見ても正しくないように思える。むしろ、カルロは技術の悪影響に関するさまざまな警告（例えば、プラトンによる筆記への言及など）が実現しなかったという物語を語っている。こうした誤った警告はよくあることだが、同時に最も大きな悪影響が見落とされることも多い。それは、印刷機やラジオ、ソーシャルメディアやスマートフォン、農業、避妊法、化石燃料の燃焼などに悲しんでいるわけではないという意味ではない。しかし、私たちはコストが事前に明確になることを期待していないのだ。私は、変革的な技術的影響は歴史的に予測が難しいと述べる方がよいと思う。

ゴールポストはダイソン球である

再び、「物理的な行動にはそれを理解し、テストするために非ゼロの時間がかかることに気づいていなかったのか？」という趣旨のエントリーが登場する。

Epoch AI：AI の研究開発を自動化してから数年後にダイソン・スフィアを実現できるでしょうか？多くの AI 未来論の議論は、この問いに対して AI の能力に注目するだけで、未来技術を実際に構築することの本質的な難しさというもう半分の picture を見落としています。

@datagenproc と @ansonwhho による新しいエッセイです。

AI の研究開発が自動化されれば、AI はほぼすべての認知領域において人間の専門家を超えて急速に進化する可能性があります。

しかし、それだけでは、「サイエンス・フィクション」的な技術、例えばダイソン・スフィア、ナノテクノロジー、光速に近い速度での移動、脳アップロード、あるいは恒星間探査機などが、その自動化からどのくらいの期間後に実現できるのかを語ることはできません。

それは、AI の研究開発を自動化してから数年以内にダイソン・スフィアが不可能であるという意味ではありません。単に、推測的な技術に関する予測は、それらを構築する際の具体的な難易度に敏感であるべきだということです。

彼らは、AI の能力についての仮定を踏まえた上で、特定の技術を構築することがどれほど難しいかを検討し、実現までの期間を見積もるよう提案しています。

彼らの例として挙げられているのは、H100 で動作する即戦力となる労働者の代替システムです。

もちろん、それは良い演習ではあります。しかし、この枠組みは AI の能力が一定レベルに固定されていることを前提としています。再帰的自己改善（Recursive Self-Improvement: RSI）の核心は、AI が大幅に能力を向上させる点にあります。

もし H100 をそのまま置き換えるワーカーを使って、可能な限り速やかにダイソン・スフィアを構築したいと考えるなら、どんなゲーマーでも知っているはずです。おそらく長期間を要する実験や、事前に着手しておく必要がある他の基礎作業を除けば、ダイソン・スフィアの構築や研究にすぐに着手したりはしないものです。まずは知能技術ツリーを、その点を遥かに超えるまで延々と進め、そして初めて球体の構築を試みるのです。これが RSI の要点です。

彼らは第三の異議として、スーパーインテリジェンスをモデル化するのは困難であり、AI は私たちが予期せず、おそらく想像もできないような行動を取り始めると主張しますが、これを軽くあしらいます。明確な考え方は、非 ASI AI が確実に実行できることに焦点を当て、既知の方法を用いて計画を立てることです。ASI ならさらに多くのことができる可能性もあることを承知の上で、主にその基盤に基づいて計画を策定するのです。

JS Denain: 例えば、認知タスクのほぼすべてにおいてトップレベルの人間専門家と同等かそれ以上の能力を持つ AI が十億体存在すると仮定してください。

これらの AI が数年以内に分子ナノテクノロジーを構築できることを示せれば、そのモデル化方法が不明であっても、はるかに賢明な十億体の AI なら同様に可能であることは疑いようがありません。逆に、これらの AI がおそらくそれを達成できないと示せれば、少なくともそれは私たちがクリティカルポイント（決定的要因）を特定し、議論をより具体的な AI の能力に集中させるのに役立ちます。

これは下限値であり、この場合それほど有用なものではないと言え、未来とはすでに可能だと知っていることの単なる実装に過ぎないという考えを強化する結果につながります。

しかしはい、確かに、このような推定は意思決定において十分に価値があるため、誰かがここで推定作業を行うべきです。特に有用なのは、私たちが超知能を得られると確信していないからです。もし超知能の構築があまりに困難である場合や、しばらくの間あえて超知能を構築しないことを選ぶ道を見つけた場合に、それでもまだ何ができるのかを知りたいと考えているためです。

あるいは、Fable や Sol に推定作業を依頼することもできます。

人々はただ何か言うだけだ

Wired のファクトチェッカーである Megan Herbst は事実を誤っており、AI によるファクトチェックは AI の要約のみに基づいて信頼できないと主張しています。もしあなたが研究が具体的に何を発見したのか、そしてそれが実際に何を意味するのかを知りたいのであれば、Dan Williams が Fable にあなたに代わって尋ねています。その後 Megan は「AI は半分間違ったことを言っている」と結論付け、すべてのファクトチェックは人間によるものでなければならないとしています。これが私たちの知的エリート層の多くが AI に対処している方法です。

三つの薬

それらは以下の三つです：AI の薬、AGI の薬、ASI の薬。

おおよそ以下のような意味です：

AI の薬：AI はすでにできる認知機能を果たすことができる。

AGI の薬：AI は将来、より多くの認知機能を果たすようになる。

ASI の薬：AI は将来、すべての認知機能を果たすようになる。

「薬」に該当するためには、その帰結と格闘していることも必要です。もしこれを孤立した好奇心として扱い、ほとんど変化がないと仮定するなら、それはカウントされません。

ASI の薬を服用しなければ、あなたは間違った長期的未来に対応していることになります。

少なくとも AGI の薬を服用しなければ、あなたの AI 政策は現在では意味をなさないでしょう。

少なくとも AI の薬を服用しなければ、あなたは政府の大多数に該当する可能性があります。

ホワイトハウスの政策に強く影響を与えてきた人々は、既存のクローズドフロンティアモデルの能力を完全に否定することを拒否し、何年もそのゲームを続けてきたことを理解する必要があります。

Dean W. Ball: 基本的に、2023 年頃のことですが、「AI について一貫して間違っていた」ベンチャーキャピタル（VC）および SaaS コミュニティは、AI の軌道がモデルの能力を GPT-5.5/Opus 4.8 のレベルで 2030 年頃にピークに達し、さらにロボットも登場するという前提の下で動いていたと思います。

それがあなたの前提であれば、なぜすべてがコモディティ化すると考えたり、フロンティア AI が正当なビジネスモデルではないと考えるのか、全く理解できます。

それは信じたい素晴らしい世界です！しかし、現実の世界では、そのコミュニティは 3 年間も wildly 間違っており、今後もさらに長く間違ったまま続くだろうと予想します。

彼らが永遠に間違っているわけではありません！最終的にはコモディティ化されるでしょう。しかし、「モデルはすでに十分だ」という発言は GPT-4 から続いており、それは真実ではありませんでした。AI 産業がまだ初期段階にあり、軌道の急峻な部分にあると考えているため、この状況が続くと予想しています。

より広く言えば、「十分良い」という概念は、少し吐き気を催させるべきものです。未来の経済は、ベルカーブの中央にある「負け前提」の「十分良さ」ではなく、重尾分布における卓越性についてのものであるでしょう。

Daniel Eth（AI セーフティ）：また、なぜ彼らが先端的 AI リスクに対してこの狂気じみた、根本的に規制反対的な立場をとっているのかも説明しています。

Dean W. Ball：その通り。次第に、彼らの議論は目を疑うことを要求しているように感じられます。例えば、オープンソースモデルが「ミソス/ファブル」よりもはるかに能力が高く、政府がハードコアな規制を開始するまさにその時期に、政府によって奨励されるような政治経済を想像してください。

再帰的自己改善（RSI）と超知能（ASI）を真剣に受け止めるならば、これはすべてを変えます。どれほど真剣に、どのくらいの速さでそれらを受け止める必要があるかはわかりませんが、その点は最初の二つの「薬」とは対照的です。

prinz：RSI の時代において、モデルがコモディティ化するという主張は、ますます疑わしく見えてきます。最前線と第 2 チェーンとの間のギャップはすでに巨大であり（ベンチマークが示すよりもはるかに大きく）、明らかに拡大しており、加速するペースで成長し続けるでしょう。

多くの人々が尋ねるでしょう：しかし、先端的モデルを必要としない企業タスクの無数の例はどうなるのか？速く安価なモデルが、多くの知識労働にとって本当に「十分良い」のであればどうなるのか？答えはこうです。RSI は、最前線の研究所がパレートフロンティアの*すべて*を独占することを意味します。彼らは知能において SOTA（State of the Art）であるだけでなく、速度においても、そして競争原理がそう求めるならばコストにおいても SOTA となります。

完全に自動化された AI の研究開発は、おそらく明日のモデルが今日の LLM とは全く異なる姿をしていることを意味します。そのギャップの一部は、新しいアーキテクチャや技術からなるものであり、セカンドティアのラボではこれを独自に発見し、タイムリーに実装することに苦労するでしょう。

上記のすべては、RSI が機能しない場合は成り立ちません！しかし、RSI が機能すると信じるなら、モデルの商品化が正しい賭けではない可能性が高いです。

同様に、人々はこれに対して非常に多様な反応を示します：

Jared Friedman: Fable は信じられないほど素晴らしい。その評判に値する。

Paul Graham: 5 年後のモデルが GPT3 を改善したように Fable をさらに改善していたとしたら、どんなことになるか想像してみてください。

AI に熱狂していない人々：Fable は本当に何かを考えているわけでも創造しているわけでもない、誰が気にするのか？

AI に熱狂している人々：Fable は良いが、他のモデルと基本的に同じでどうでもいい。

AGI に熱狂している人々：さらに優れた Fable の軍隊を使って何ができるか想像してみてください。

ASI に熱狂している人々：その未来の Fable があなたや世界に何をなすか想像してみてください。

私たちが期待するペースの範囲を例示するために、最初の 4 つの返信を紹介します：

Sascha Jürgens: ある時点で、統計が指数関数的に成長し続けるにもかかわらず、少なくとも主観的には、人間の視点から見て違いに気づかなくなるでしょう。

Dr. Dad, PhD: Fable レベルでも、より安価で高速であれば素晴らしいことです。

Plastic Soldier: あなたのベースケースは、モデルがそれ以上にさらに改善されるべきであるというものです。

Derya Unutmaz, MD: 2 年後には、これほど多くの進展が見られるでしょう。今後 2 年間の AI の進歩は、過去 5 年間よりも大きくなるはずです。これは控えめな見積もりです。

Derya の回答は正しいです。AI の改善は加速しており、私たちはその改善が現実世界に大きな影響を与える範囲に入りました。指数関数的な成長は急速にやってきます。

Sascha の回答は、完全な限界において、あるいは特定のコンパクトなタスクや通常の会話の文脈においては狭義では正しいですが、世界への影響は止まることはありません。

健全な規制への探求

私たちはガードレールが必要です。必ずガードレールを持たなければなりません。あるいは、トランプの言葉で言えば：

ドナルド・トランプ（アメリカ合衆国大統領）: 私たちはガードレールを作ります。すでにガードレールがあります。数週間前にそれをご覧になったはずです。私たちが好ましくないものを阻止することができました。ちなみに、その企業 [Anthropic] は非常に優秀でした。彼らは本当に素晴らしいです。

しかし、それは莫大な善のために使用できます。主に善であり、一部は悪ですが、悪は止める必要があります。しかし、これは巨大な産業です。そして、何かが起こるだろうと思います。

ここで目にするものについて知っていますね。この点でも何か起こり得ると私は思います。私たちの国民への貢献としてです。少し内部情報を教えましょう。それをしてもよいでしょうか？[笑い] スコット、私が何を言っているか分かっていますよね。いいえ、彼らが莫大な金を稼いでいるので、彼らによる貢献が見られるようになると思います。

これはほぼ何でも意味する可能性があります。自然な読み方としては、はい、少なくともいくつかのルールが関与することになるでしょうが、私たちはそれがわかっていることを願っています。

十分に長い時間軸において、はい、AI は確かに大きな問題です。私たちの選ばれた代表者たちもそれに気づき始めており、「AI の制御を失うこと」はここで挙げられている課題の中で第 3 位の大きさとなっています。

OpenAI 国家安全保障原則

彼らは今、公式声明としてそれらを持っています。

これらの原則に基づき、私たちは OpenAI のツールを以下の目的で使用することを支持しません：

● 大規模な国内監視（mass domestic surveillance）

● 適切な人間の判断と説明責任を伴わない高リスクの意思決定（high-stakes decisions）— 武力行使に関する決定を含む

● 法的義務、監督、または説明責任を回避する用途。

これらは確かに良い原則です。実際、最初の 2 つは Anthropic のレッドライン（red lines：譲れない線引き）の echoed です。しかし、DoW と Anthropic の対立で見たように、何を行い、何をしないかを正確に定義する必要があり、その定義には実効性を持たせる必要があります。

「大規模な国内監視」がアメリカ法において定義されていないことを思い出してください。また、事実上「高リスク」とされる意思決定は、すでに AI や他の自動化システムを通じて常時行われています。

3 つ目の条項は興味深く歓迎すべきものであり、これも again 慎重な定義を必要とします。

このフレームワークを国家安全保障および法執行の機会に適用するための一連のプロセスを設けます。時を経るにつれて、これらの提言は先例として確立されていくでしょう。判例法体系のように、文書化された適用を通じて原則がより明確になり、時間とともに「判例法」の体系が形成されていきます。

それは良いことですが、OpenAI が法律を作るわけではありません。政府と関わりを持つ場合、あるいは政府側から関わりを望まれる場合は、この事実が大きく影響を及ぼします。

OpenAI：私たちの原則。

私たちは人々に利益をもたらす政府による AI の利用を支持します。

私たちが共有する価値観を持つパートナーを優先します。

AI が民主主義制度を強化し、権力の集中を防ぐことを確実にする義務があります。

国家安全保障および法執行の分野では、AI は人間の判断を支援し、人間の責任保持を維持すべきです。

「私たちの価値観を共有する」とは、米国と少なくともかつてその民主主義的同盟国であった国々を支援し、権威主義者に対して「敗北」しないように彼らを強化することを意味します。

彼らは、自分たちやドウェン（DoW）との関係で起こっていたように見えることとは対照的に、どのようにして権力の集中を防ぎ、民主主義制度を強化する計画なのでしょうか？

次は、あらゆる標準的な事項に関するいつもの談話が続きます。

OpenAI は、契約交渉、継続的な運用業務、知識の共有、および公共政策に関する議論を通じて、その理解を築くのを支援します。

特定の政府パートナーとの関与は、機関、政策決定者、監視機関が AI の能力、限界、およびリスクを理解するのを助ける場合、公益に資することができます。また、AI がまだ準備が整っていない、十分に信頼できるものではない、あるいは重要な人間の責任と一致しない用途を特定するためにも役立ちます。

その関与には、モデルを使用する機関（法執行および国家安全保障を含む）を監視する民主主義的機関を含めるべきです。

OpenAI は政府による AI の使用を監督する適切な機関ではありません。しかし、AI 自体の使用を通じて、規制当局、監査人、裁判所、立法者、監視機関が、スピードと規模で AI の使用を監督するための理解と実務能力を構築するのを支援できます。また、公選された役職を選ぶ責任を負う一般市民に対し、AI の利点と限界を理解してもらうことも支援できます。

法的、コンプライアンス、または監視の枠組みが未発達な場合、私たちはそのギャップを特定し改善を提言すべきです。いくつかの場合では、適切な展開の前にこれらの枠組みの変更が必要となるかもしれません。他の場合には、慎重に構成された関与により、機関はリスクを特定し、より良いガイダンスを開発し、責任ある使用のための能力を構築するのを助けることができます。これには、私たちの視認性が適切に制限される可能性のある極めて機密性の高い環境も含まれます。

当局や一般市民の理解を助けることは良いことです。しかし、実際にはこれは単に混乱を招き、責任転嫁をしているようにしか聞こえません。

実際にこれまで何が起こったのでしょうか？OpenAI は行政権限と協力し、実利に関する目に見える交渉はほとんど行わず、自らの価値観との衝突を受け入れる姿勢を示しています。これは規制枠組みも存在せず、監督者に対する適切な監視体制もない状況です。私が話した国家安全保障の専門家たちは全員、DoW が OpenAI のモデルを利用しようとした場合、OpenAI には法的な防御手段がないと予測しています。