「かつてありし未来の寓話」第5回：AnthropicがClaude Sonnet 5を公開
Zviは、Claude Sonnet 5 の発表と Mythos モメンタムにおける規制・政策の議論を分析し、米中の規制比較や DeepMind のガバナンス失敗事例を通じて、AI 業界が直面する複雑な法的・倫理的課題を指摘している。
キーポイント
Claude Sonnet 5 の位置づけと Mythos モメンタム
Anthropic が発表した Claude Sonnet 5 は、Opus 4.8 より安価で高速なバージョンであり、数値上の「5」は小改良に過ぎない。一方、Fable や Sol の開発は待機中である。
米中の規制比較と文脈
Daniel Eth の発言を引用しつつ、現在の米国が中国より厳格な規制をかけている事実を認めつつも、自国のモデルが他国レベルの能力しかない場合は規制は緩くてもよいという相対的な視点を提示している。
DeepMind のガバナンス失敗と契約問題
Google DeepMind が信頼に基づく安全文化を重視した結果、ペンタゴンとの契約で不利な立場に立たされ、従業員の声が反映されなかった事例を紹介し、形式的なガバナンスの重要性を説いている。
AI 規制と司法・言論の自由
裁判所による AI 規制や、AI が「言論」と「コンピュータ」の両方であるという主張など、政策決定における法的な議論の複雑さについて言及している。
Google DeepMind の安全文化の失敗と労働者の権利
Google DeepMind は信頼に基づく非公式な安全文化に依存したが、ペンタゴンとの契約において政府側の圧力により安全上の懸念が軽視された。従業員が本格的なストライキや辞職という実効性のあるレバレッジを使わなかったことが、この結果を招いた。
AI 規制における「善人・悪人」モデルの限界
悪意ある行為者に対抗するために「善い側も同じモデルにアクセスできる」という考えは、攻撃と防御のバランスが崩れる最悪のシナリオを招く可能性がある。AI は人材不足という障壁を取り除くため、資金さえあれば悪意ある行為者が大規模化でき、オープンなモデルでは平等しか生まれない。
現実的な防衛楽観主義への懐疑
自動化された攻撃ツールの集中力や完全な防御の不可能性を考慮すると、技術が自動的にセキュリティを向上させるという楽観論には懐疑的である。現実的な防衛力を確保するには、守る側に明確な優位性を与え、努力して達成する必要がある。
影響分析・編集コメントを表示
影響分析
この記事は、単なる新モデル発表を超えて、現在の AI 規制環境における米国の立場と、企業のガバナンス構造が持つ脆弱性を浮き彫りにしています。DeepMind の事例は、技術的な安全性よりも契約や政治的圧力に対する組織の対応がいかに重要かを示唆しており、業界全体が直面する政策的な不確実性への警鐘となっています。
編集コメント
新モデルのスペック論議だけでなく、背後にある規制の文脈や企業のガバナンス失敗事例に焦点を当てた、非常に示唆に富む分析記事です。技術者だけでなく政策担当者も読むべき内容と言えます。
私たち、あるいは少なくとも「100 以上の米国の機関」は、今週ミソスを取り戻しました。
しかし、我々人民が手に入れているのはフェイブルでもソルでもありません。
Claude Fable 5 と GPT-5.6-Sol の両方を待っている間、今日は代わりに Claude Sonnet 5 を入手しました。いつものように、新しいモデルの特性を把握するには数日かかるでしょう。今回は Anthropic がこれを Opus 4.8 よりも安価で高速なバージョンとして紹介していますが、番号が 5 となっているとはいえ、これは比較的 minor な開発です。
本稿では、今週ミソス・モーメント（Mythos Moment）を取り巻く今後のすべての進展、新たなアドホックライセンス制度の運用に関する諸側面、および将来の方針策定におけるさまざまな要素について、フェイブルシリーズを拡張して取り上げます。
これには、私が頻繁に同じようなことを言わざるを得ないと感じている様々なレトリック（rhetoric）に関する私のメモも含まれます。なぜなら、私たちはサイクルの繰り返しという運命にあるからです。私はその役割を受け入れましたが、これらのセクションは多くの読者がスキップできるものであり、いつもの通りイタリック体でマークされています。
目次
他者をみるべきだ。相手は共産党（CCP）です。
世界の DeepMind コーダーたちよ、団結せよ。あるいは働きに戻れ。お前の選択だ。
インシデントを報告せよ。はい、おそらくそうすべきでしょう。
AI を持つ善人。あなたはデッキを操作したいと強く願うでしょう。
試してみるための自由。司法が AI 規制者として。
すべては言論であり、かつコンピュータである。彼らはこれを主張し続けています。
屠殺場に送られる子羊たち。さようなら、ハンフリー判決（Humphrey's Executor）。
⟦CODE_0⟧
⟦CODE_1⟧
ヒョウに注意せよという看板。私は木曜日の扱いがどうしても慣れられなかった。
現在の神話としての「かつての物語」。トップ機関にいることがあなたに適しているかどうかを問うてみること。
何をすべきか。ディーン・ボールがその考えを述べる。
蒸留。私とは全く異なる見解を持つ人々もいる。
オープンソースの禁止が実際には何を意味するのか。
オープンウェイトモデルは安全ではなく、これを修正できるものはない。
相手を見よ
最近の議論における重要な文脈：
ダニエル・エス（AI セーフティ）：「米国は自国のフロンティア AI に対して、中国が自国に対して行うよりも多くの規制を課している。」
確かにそうだが、中国は自国に対して、我々のフロンティアが今や中国のレベルにある時に米国が行ったものよりも多くの規制を課している。
モデルの能力が高く、あるいはフロンティアに近いほど規制が必要であり、そうでなければ必要度は低くなる。もしアメリカで中国レベルの結果しか生み出せないなら、私の理解ではほぼ何をしても構わないようだ。これが新しい規制を良いものにするわけではないが、文脈を示すには役立つ。
世界の DeepMind コーダーよ、団結せよ
アンドレアス・キルシュは、Google DeepMind とデミス・ハサビスが、形式的なガバナンスではなく、信頼に基づいた強力なセーフティ文化と優れたリーダーシップに賭けたが、それが試練にさらされた際に失敗したと述べています。彼らはなおもペンタゴンとの契約を結んでおり、そこにはペンタゴンがすべてのレバレッジ（交渉力）を持ち、何でもできるようにする曖昧な表現が含まれていました。DeepMind の人々が何を望もうとも、600 人の従業員が屈しないよう署名した書簡を送ったとしても、政府は Google に対して十分なレバレッジを持っており、セーフティ上の利益は放棄されました。
DeepMind の従業員が意味を持つ唯一の方法は、彼らが自らのレバレッジを実際に行使し、ストライキを起こすか、辞職する覚悟がある場合に限られます。今回はそれが起こりませんでした。
まさにその理由から、キルシュと UTAW/CWU はユニオン（労働組合）の認定を求めて闘っており、それによってそのような課題に立ち向かうことができるようにしようとしています。
インシデントを報告してください
チャーリー・バルロックは、共和党のネイト・モラン議員（テキサス州選出）が導入した新しい AI インシデント報告法について指摘しています。この法案は事前規制（preemption）の扱いにおいて優れた成果を上げており、対象となるモデルを定義する際に能力ベースの閾値を採用しています。これは複雑ではあるものの、理論的には素晴らしい仕組みです。
AI を持つ善人
銃との類似性は、あなたが望むような形では成り立ちません。
ソフィア・カイとベン・ヨハンセン（Politico）：基本的に彼は、危険な AI モデルを持つ悪人を止める最良の方法は、善人が同じモデルにアクセスできるようにすることだと信じています。
『悪人』と『善人』が同じモデルにアクセスできる状況は、望ましいシナリオではありません。それはむしろ最悪のシナリオです。
これは「悪役が優れたモデルを持っている」というシナリオほど悪いわけではありません。しかし、私たちの政策の根底にある考え方は、善玉側がまずアクティブに優れたモデルへのアクセス権を持つ必要があるということです。なぜなら、全員が同じスタートピストル（初期条件）を持っていれば、悪役は善玉側がパッチを適用するまでに多大な被害を与えることができるからです。
この一部として、以前は悪役側に才能の欠乏がありました。なぜなら、ほとんどの人は悪役になりたがらないからです。黒帽子のハッカーは一人しかおらず、白帽子のセキュリティ専門家は大勢いました。しかし、AI が才能への必要性を最小化し、悪いことをするほど資金が集まるようになれば、悪役側も資金規模に応じて大規模にスケールできるようになります。これは非常に大きな問題です。
オープンモデルのパラダイムは、せいぜいここでの平等性（イコール）を提供できるだけです。
「限界においては、攻撃と防御のバランスが防御側に有利に働き、優れたツールは実用上すべてをより安全にし、安全性を低下させることはない」という主張があります。私はこれに対して懐疑的です。なぜなら、自動化されたツールを使って火力を集中させる能力があること、そして重要な場所のほとんどにおいて完全な無敵（フルバレットプルーフ）というものは存在しないと思うからです。しかし、それが真実だとしても、それでもその状態に至るまでには時間がかかります。
現実的な防御楽観主義は、守り手に優位性が与えられ、私たちがそれを達成するために努力することに依存しています。これは無料で得られる結果ではありません。
挑戦してみる自由
これまでのところ、AI 政策は行政府が強権を振るい、議会が行動を起こせないという状況でした。では司法府はどうでしょうか？司法府は場合によっては迅速に行動でき、その判決は非常に奇妙な結果をもたらす可能性があります。
例えば、修正第一条はこの局面のために設計されたものではありませんが、すぐに奇妙な展開になる可能性があります。
Dean W. Ball：現在、AI に関する最も重要な法的質問はすべて修正第一条に関連しています。先端的 AI の作成、配布、そして*利用*が保護される表現の一種であることを示すための最適な事実パターンとは何でしょうか？
研究所の外で、そのような訴訟を提起する資格（standing）を持つのは誰ですか？私たちは「コードは言論である」という楽観論や、虚空に向かって投稿しようとする衝動を超えて進む必要があります。問題の核心は、過去 2 週間で議論された事案が最終的に決定される場は裁判所です。国家安全保障上の影響を考慮すれば容易ではありませんが、基盤となる技術は大規模な*言語*モデル（language model）であり、これは確かに大きな意味を持ちます。私たちの時代の最優秀な法曹界の知性が、これらの問題および関連する多くの質問について熟考すべきです。
AI セーフティに関わる一部の人は、合理的に「これでは、あなた（Dean 氏）が支持するような友好的で穏やかな規制を含む AI 規制そのものが不可能になる状況を生み出すリスクはないでしょうか？」と反論するかもしれません。
現実的に考えて、答えは「いいえ」だと思います。これが私の規制焦点が常にモデルそのものではなく、フロンティア・ラボという*実体*に向けられてきた理由の一部です。確かに第 1 修正条項は国家の介入に実際の制限を課すことになりますし、例えば高レベルの詳細なアライメント（alignment）を規制することが望ましいとされる世界では、それが効いてくることもあるでしょう。
しかし、これは第 1 修正条項における難しいトレードオフであり、それは常にそうでした。アメリカにおける主権は、究極的には国民に帰属します。第 1 修正条項とは、そして今もなお、大胆な信仰の飛躍です。あるレベルでは、選択を迫られます：私たち国民が主権を維持するのか、それともしないのか？
ちなみにこれは「モデルには表現の自由があるべきだ」という意味ではありません。
もし私たちが、つまり国民—そして文字通り、現在『アメリカ人』と見なされている人々に近いかどうかに関わらず、人類のあらゆるサブセット—が、十分に高度な AI に対峙して何らかの意味ある主権を維持したいと思うなら、それはそのような AI の様々な側面に対する一連の統制を意味することになります。もしそうしなければ、何が起きようとも、そのような AI が潜在的に唯一、意味ある主権を持つ存在となってしまうでしょう。
一般的に、そして 2026 年の実情として記述的な見解を持つならば、私は司法の役割について、「自殺契約にはならない」という立場と「彼がそれを執行するべきだ」という立場のどちらかにより近くいます。法律を無効化するようなものさえ成立しない場合でも、重要な局面においてはです。AI の分野においてあまりに狂気じみた、あるいは受け入れられない判決は、回避されたり、無効化されたり、無視されたりすることになるでしょう。
これは、AI を使わない文脈ですでに行っている多くの行為を、私は明らかに違憲だと見なしていることの一因でもあります。第一修正条項の違反や、「州間通商を規制する」と主張するなど、その方法は多岐にわたります。これは、私の法に対する見解が最高裁判所（SCOTUS）の見解と異なるという記述的な側面を持つ一方で、より広範な表現の自由保護への規範的な支持を含む部分でもあります。さらに、これらの船は現時点では出航したままの状態にあることを認識しており、もし裁判所が実際の文言を執行しようとすれば、おそらく失敗するだろうと考えられます。
すべてが言論であり、かつコンピュータである
人々はまだ試みようと決意しています。そのため、「コードは言論だ」と言う人々が再び現れています。技術的にはもちろんコードも言論ですが、今日私たちが規制している多くのものが言論です。
また、AI モデルそのものを言論と分類し、モデルレベルで第一修正条項の保護を主張する人もいます。例えば Preston Byrne 氏などがそうです。
彼らの立場がどこから来ているかは理解できますが、「言論としての類似したレベル」にあるものには多くの制限があります。もし AI モデルと同じくらい「言論である」とされるすべてのものを対象に、それらを規制できないとすれば、私たちの規制装置全体や文明は非常に異なるものになるでしょう。
また、私は『自由』の立場を主張する人々がここでの含意を理解していないと考えます。彼らは、もしこれが実際に歯を持つものとして証明された場合（つまり、「我々はあなたに対して様々な権力のレバーを握っており、言うことを聞かせる」という単なる宣言とは対照的に）、自分が何を望んでいるのかについて不十分な注意を払っているように思われます。
プレストン・バーン：LLM の利用者は、話者であり同時に聴衆でもあります。LLM はコンテキストウィンドウ内の次のトークンを予測しますが、そのコンテキストウィンドウは完全にユーザーが生成したものであり、ユーザーの入力と、ユーザーの促しによって初めて存在することになった以前の LLM の応答の両方を含みます。
「AI の規制」として LLM の使用方法を制御することは、表現的行為に対する規制です。自動運転車や産業用ロボットなどの他の AI を規制するのは連邦議会の管轄である可能性がありますが、一般市民が手にする LLM を制御する権限があるとは考えにくいです。
上記で述べた通り、私はこれが実務的な法律の問題として成立すると考えていませんが、裁判所は私をそれなりに頻繁に驚かせてくれます。
そこで仮定してみましょう。理論上、最高裁（SCOTUS）がアメリカ政府に対し、「一度 LLM が存在すれば、その利用は表現的行為であるため、LLM の使用についていかなる方法でも制御することはできない」と告げた場合です。そして、何らかの理由により、この原則を現実的に回避する方法がないと仮定しましょう。
我々のような政府の明白な対応は、明確に言っておきますが私はこれを支持しているわけではなく、単に予測しているだけであり、規範的な主張でもありませんが、十分な制御なしに存在させるにはあまりにも危険であるため、十分に高度な大規模言語モデル（LLM）を訓練することを防ぐことでしょう。
同様に、一度 LLM を手に入れたら何でもできるのであれば、政府が十分に目を覚まし、LLM が十分に能力を持つようになった時点で、戦いはあなたがそれを手に入れることを許さないか、あるいは最初から実行できないようにする方向にシフトします。つまり、政府が制御できる人物である場合を除いてです。
政府は利用可能な手段を用います。手段を奪われても、その件を放棄するのではなく、残っているものを何でも掴み取ります。次の問題も同様で、独立した規制機関が持てないなら、何も得られるわけではありません。得られるのは従属的な規制機関だけです。
羊たちの屠殺場
その点において、最高裁判所（SCOTUS）は今週むしろ事態を難しくしており、簡単にはしていません。
ハンフリー執行官事件を覆したスローター対トランプ事件における 6-3 の判決は驚きではありませんでしたが、あらゆる種類の政治的でない規制を求める試みは、今週さらに困難になりました。
最高裁判所は、連邦準備制度（Federal Reserve）を除き、大統領がいつでも、いかなる理由ででも、自分が望む人物を解任できると ruling しました。連邦準備制度が例外とされているのは、諸般の事情や歴史的伝統によるものです。
私は、この判決はその含意においても、また実質的な妥当性においても非常にひどいものであり、他の分野にも広範な影響を及ぼすものだと考えます。さらに、AI を政治的な争点や党派の武器に変えることなく規制するために私たちが望む施策も、この判決によって排除されてしまいました。
ベン・ローセン：「トランプ対スラッター」判決は、AI 規制の将来に大きな影響を及ぼします。先端的なモデルを独立して評価し、政治的または党派的な影響力から自由な形で拘束力のある措置を講じることのできる連邦機関を望むのであれば、それが不可能になるか少なくとも非常に困難になったことを意味します。
仮に議会が、主要なトレーニング実行のライセンス付与、評価の強制、展開の制限、緊急停止命令、または罰則科設権限を持つ「先端 AI 委員会（Frontier AI Commission）」を創設したと想像してください。今日の判決の下では、その委員会の指導者たちは大統領による罷免から保護されることができません。
なぜでしょうか？最高裁判所は、実質的な規則制定、調査、執行、民事訴訟、および内部審理をすべて「行政権（executive power）」とみなしました。これらの権限を行使する主要な役職者は、大統領がいつでも罷免できる存在でなければなりません。
… 独立性が有益であるかもしれないという一般的な理解だけでは不十分であると裁判所は判断しました。そうでなければ、同様の論理によって連邦取引委員会（FTC）、消費者金融保護局（CFPB）、国家労働関係委員会（NLRB）なども保護されてしまうからです。多数派意見はこの技術官僚主義的な主張を明確に退けました。
ディーン・ボールは私の意見に異議を唱え、SCOTUS の決定に概ね同意し、「非党派機関である FTC や SEC といったものの虚構を取り払い」、それらが党派性を持つことを認めよと主張しています。特にそのようなケースにおいては、私は強く反対します。たとえ「非党派性の虚構」であっても、それは極めて重要であり、金融規制や言論規制の手段が公然と党派上の利得のために利用されるような恩給制（spoils system）へと後戻りすべきではありません。仮にそれらがすでに多少ともそのような形で利用されているとしても、ある程度隠蔽し恥じ入り、直接的なレバレッジを持たないことで、被害を軽減できるのです。
もしこれらの機関が大統領の政治的敵対者を狩るために利用され、友人や彼にお金を払う人々を優遇していることが周知された場合、どのようにして国民に尊重される正当な政府を維持できるでしょうか？民主党が大統領室を再び掌握した場合でも、これが逆転しないとはお考えですか？
かつては、そのような場面で偽善を取り除くことは良いことだと考えていました。しかし今では、摩擦のレベル（Levels of Friction）や、規範が機能していないという共通認識が作られたときに何が起こるのかについて、より深い理解を持つようになりました。そして、もはやそのように考えることはありません。
ディーン・ボール：民間のガバナンス機関は、この問題を解決する一つの方法です。私が以前書いたように、政治的な決定——「どれくらい安全であれば十分なのか」といった問い——を政治機関に委ねましょう。しかし、技術的な決定——「どれくらい安全であれば十分だと決めた後、具体的に技術レベルでこれをどう決定するか」——は、政府の監督下にある技術機関の手に委ねるべきです。トランプ対スローター事件のような判断が、私がこの考えに惹かれた主な理由ではありませんが、それが最終的に起こることを知っていたことは、間違いなく私の研究とこのアイデアへの提唱を動機づける助けとなりました。
AI の場合、私は同意しませんが、専門知識に対して多額の費用を支払う必要があるなど、これが合理的であるとする実用的な理由は理解できます。しかし、FTC や SEC には全く機能しないのでしょうか？
もしかしたら（主に冗談ですが、実際にやらないでください）CAISI を連邦準備制度内に移すことができるかもしれません。私は冗談を言っていると思いますが、現在検討されている主な災害シナリオは、サイバー攻撃によって銀行や通貨供給量が侵害されるというものです。もし CAISI を商務省に置くことが可能なら（そこにはもともと明確に属していないのに）、なぜ連邦準備制度に置けないのでしょうか？
残念ながら、連邦準備制度（Fed）の権限には限界があるため、実際の AI 規制機関を連邦準備制度内に移すことはできません。理論的には、議会の意向次第で CAISI を移すことも可能ですが、これは他者が規制を行うために情報を提供するだけの機関であり、多くの他の問題を引き起こす上、議会にそれを求める必要があるからです。私は実際にはこれさえもやりたくありません。なぜなら、CAISI の焦点が純粋な短期的な「銀行への影響」へと転換し、AI 研究開発（R&D）やバイオテクノロジーの分野から目を逸らしてしまうリスクがあるからです。
ヒョウに注意せよという看板
現在の基本的な状況は以下の通りです：
MTS: 状況検出：トランプ政権が国家安全保障上の懸念により、OpenAI に GPT-5.6 のリリースを段階的に行うよう要請したと The Information が報じています。
サミュエル・ハモンド：>プロの X レンズ（X-ray glasses）製造業者である行政当局が突然、そのレンズが自らの壁も透過して見えることに気づき、看板に載った X レンズの宣伝プログラムについて疑念を抱き始めます。
多くの人が代わりに、主要な X レンズ製造業者を非難しています。なぜなら、その製造業者は X レンズが壁も透過できることを指摘し続けてきたからだ、と。むしろ、そのレンズはそのような機能ができないふりをするべきだと主張する人々です。
そのレンズは、例えば共和党の議員に対して示されたように、銀行口座を抹消するなど、他の多くの用途にも使用できます。
一方、議会の反応は「待てよ、X レンズは AI supposed to be（AI であるはず）では？」というレベルにあります。
新しい能力は恐ろしいですが、その理由は、恐怖を感じている人々の多くが、既存の古い能力についてさえほとんど知らなかったからです。
The Once And Present Mythos
The play by play:
Anthropic (June 26, 8:30pm): 6月12日以降、私たちは米国政府と緊密に連携し、Claude Mythos 5 および Fable 5 へのアクセス復旧に取り組んできました。本日、政府から通知があり、当社の最も強力なサイバーセキュリティモデルである Mythos 5 を、重要インフラの運用および防衛を行う一連の米国組織へ再展開できることが確認されました。
これらの組織に対するアクセスは迅速に復元しており、政府と連携して Mythos 5 へのアクセス拡大および Fable 5 の一般利用再開に向けた取り組みを継続しています。
少なくとも Mythos 5 は、「主要企業や政府機関を含む100以上の米国機関」ならびに Anthropic 全従業員に対して回復しました。以下は Lutnick 氏が送った書簡の表紙ページです（関連機関を列挙した付録 A は除く）。
Axios によると、Fable 5 もまもなく復帰する見込みとのことです。トランプ政権が土曜日時点でアクセス復旧に近づいていると報じられています。ただし成功には NSA および国防総省の承認が必要であり、国防総省との関係は「決して良好ではない」状況です。
私は Fable の件全体を通じて CAISI が停止されていたことに気づきませんでした。
roon (OpenAI): 行政側には OSTP や CAISI の内部に技術的卓越性を示す人々が存在しますが、あくまで限られた範囲でのことです。非常に過重労働を強いられている方々もおり、彼らがどれほど権限を与えられているかは私にはわかりません
Dean W. Ball：また、この状況のほとんど期間中、CAISI は作業停止命令の対象となっており、OSTP の予算はワシントン DC の最も良い地区にある非常に良くても最上位ではない家の市場価値と同等である点にも注目に値します。（コリン・バーンズ氏もご愁傷様です。）
これらは少なくとも彼らが今になって気にしていることを意味するのでしょうか？
まあ、そうとも言えます。あるレベルではそうです。他のレベルでは違います。
アメリカは現在、いくつかの限定的な特定の懸念を真剣に受け止めていますが、一般的に十分に高度な知能の問題については、確かに真剣には考えていません。
Dean W. Ball：輸出管理やその他の最近の措置に対する批判はありますが、見過ごしてはならない核心的な真実があります。先週までの数週間前までは、アメリカが壊滅的な AI リスクを真剣に受け止めているかどうかを疑問視するのは妥当でした。今日では、その答えは明白です。「はい」。
Eliezer Yudkowsky：ああはははは、いいえ。もし「壊滅的」という言葉で、生存者がいるようなちっぽけで小さくて可愛い災難のことを指すのであれば別ですが。
Dean W. Ball：これが実際に Eliezer 本人かどうかはわかりませんが、パンデミックを「可愛い」と表現するのは精神病質です。このアカウントの Reddit の設定ダイヤルを大幅に 80% 下げることをお勧めします。
Eliezer Yudkowsky：私たちが知る限り、大規模な世界的パンデミックでさえ真剣に受け止めているのは、未知の DNA を監視するために下水モニタリングの民間努力を拡大しようとしている人々だけです。もし政府がそれよりも小さな災難でさえ真剣に受け止めているなら、大規模な緊急 mRNA ワクチン工場はどこにあるのでしょうか？
Dean W. Ball: 「大規模緊急 mRNA ワクチン工場」はいつ、a) AI のリスクを真剣に受け止めるための指標となり、b) 良いアイデアとなったのか
つまり、大規模緊急 mRNA ワクチン工場は明らかに素晴らしいアイデアですが、
原文を表示
We, or at least ‘more than 100 American institutions,’ got Mythos back this week.
What we the people do not have is Fable or Sol.
While we wait for both Claude Fable 5 and GPT-5.6-Sol, today we instead got Claude Sonnet 5. As usual it will take a few days to get a handle on the new model. In this case, Anthropic is representing it as a cheaper and faster version of Opus 4.8, so even though the number says 5 this is a relatively minor development.
This post expands the Fable series to cover all further developments this week surrounding the Mythos Moment, and the various aspects of handling our new ad hoc licensing regime and figuring out policy going forward, and other aspects of policy as well.
This includes my notes on various rhetoric being pulled out, where I fear I end up saying similar things every so often, because we are doomed to repeat the cycle. I have accepted my role in that, but those are sections many of you can skip, and are marked in italics accordingly as per usual.
Table of Contents
You Should See The Other Guy. The other guy is the CCP.
DeepMind Coders Of The World, Unite. Or get back to work. Your call.
Report Your Incidents. Yes, you should probably do that.
Good Guy With An AI. You would very much like to stack the deck.
Free As In To Give It A Shot. The judiciary as AI regulator.
Everything Is Both Speech And Computer. They keep claiming this.
Lambs To The Slaughter. Goodbye, Humphrey’s Executor.
A Sign Saying Beware Of The Leopard. I never could get the hang of Thursdays.
The Once And Present Mythos. Ask if being in a top institution is right for you.
What Is To Be Done. Dean Ball offers his thoughts.
Distillation. Some people have views very different than my own.
What Would Banning Open Source Even Mean.
Open Weight Models Are Unsafe And Nothing Can Fix This.
You Should See The Other Guy
Important context for discussions these days:
Daniel Eth (AI Safety): “The U.S. places more restrictions on our frontier AI than China does on theirs.”
Yeah, but China places more restrictions on theirs than the U.S. did when our frontier was back where theirs is now.
Regulation is more needed when your model is more capable, or is closer to the frontier, and less needed otherwise. If you’re only producing Chinese-level results in America my understanding is you can do pretty much whatever you want. That doesn’t make our new restrictions good, but it puts it in perspective.
DeepMind Coders Of The World, Unite
Andreas Kirsch says that Google DeepMind and Demis Hassabis bet on a strong safety culture and good leadership built on trust, rather than on formal governance, and that when put to the test that failed. They still signed a Pentagon contract with enough weasel words that the Pentagon has all the leverage and can do whatever it wants. It does not matter what DeepMind’s people want, or that 600 employees signed a letter to not give in, because the government had too much leverage on Google, and the safety interests were abandoned.
The only way DeepMind’s employees would matter is if they were willing to use their leverage for real, and strike or quit. That didn’t happen this time.
Which is exactly why Kirsch and UTAW/CWU are fighting for Unite recognition, so they can fight for such things.
Report Your Incidents
Charlie Bullock highlights the new AI Incident Reporting Act, introduced by Rep Nate Moran (R-TX), which he says does a good job handling preemption, and uses a capabilities-based threshold for what is a covered model, which is tricky but in theory great.
Good Guy With An AI
The parallel with guns does not work the way you would like it to.
Sophia Cai and Ben Johansen (Politico): Essentially, he believes the best way to stop a bad guy with a dangerous AI model is making sure the good guys have access to the same model.
The situation in which the ‘bad guy’ and ‘good guy’ have access to the same model is not the good scenario. That’s the bad scenario.
It is not as bad as the ‘bad guy has the superior model’ scenario. But the whole idea behind our policy is that the good guy needs access to an actively superior model, first, because if everyone has the same starting pistol then the bad guys can do a lot of damage before the good guys are done patching.
Part of this is that previously, the bad guys had a talent deficit, since most people do not want to be the bad guy. You had one black hat and a lot of white hats. But if the bad guy can scale as large as the funding, because the AI minimizes the need for talent, and doing bad things gets you more money, you have a rather large problem.
The open model paradigm can, at most, provide equality here.
There are claims that ‘at the limit’ the offense-defense balance favors defense, and superior tools will make everything more secure in practice, not less secure. I am skeptical of this, because of the ability to use automated tools to concentrate fire, and because I don’t think full bulletproof is a thing for most important places. But even if it is true, you still need to get to that point.
Realistic defense optimism depends on the defenders being given advantages and us working hard to make it happen. It is not an outcome that happens for free.
Free As In To Give It A Shot
So far AI policy has been the Executive throwing its weight around and Congress being unable to act. What about the judiciary? The judiciary can act with speed in some cases, and its rulings could do some very bizarre things.
For example, the First Amendment was not at all designed for this moment, but it could get weird fast.
Dean W. Ball: The most important legal questions in AI right now all relate to the First Amendment. What are the best fact patterns to demonstrate that the creation, distribution, and *use* of frontier AI is a form of protected expression?
Who, outside the labs, has standing to bring such suits? We need to move beyond ‘code is speech’ copium, and beyond the impulse to post into the void. Courts will be where the issues of the last two weeks ultimately get decided. It’s not going to be easy, given the national security implications, but also, the underlying technology is a large *language* model, and this should count for quite a bit indeed. The best legal minds of our time should be stewing over these and many related questions.
Some people in AI safety will respond, reasonably, with “won’t this risk creating a situation where AI regulation, including the friendly, softer kind you (Dean) support, is impossible?”
Realistically I think the answer here is no. This is part of why my regulatory focus has always been the frontier labs as *entities* rather than the models. It is true that 1A will place real limits on state intervention, and that some of those could bite in a world where e.g. it is desirable to regulate alignment in high levels of detail.
But this is the hard tradeoff of 1A, and it always has been. Sovereignty, in America, rests ultimately with the people. The First Amendment was, and is, a wild leap of faith. At some level, you have to choose: do we, the people, maintain our sovereignty, or do we not?
This does not mean ‘models should have free speech’ by the way
If we, the people - and yes, literally I mean any subset of humans, whether or not it is close to ‘those who are considered Americans today’ - want to maintain sovereignty in any meaningful sense, in the face of sufficiently advanced AI, that is going to mean a variety of controls on various aspects of such AIs. If we don’t do that, whatever else happens, such AIs will end up being the only ones potentially meaningfully sovereign.
In general and in practice in 2026, as a descriptive statement, I am more on the ‘not a suicide pact’ and ‘let him enforce it’ side of what I expect to be the judiciary’s role on this, where it counts, even if laws cannot be passed to override. Sufficiently crazy or unacceptable rulings in the AI space will get worked around, overridden or ignored.
Part of this is that I view a wide variety of things we already do, in non-AI contexts, as rather obviously unconstitutional, including a lot of ways we violate the First Amendment or claim to be ‘regulating interstate commerce’ and so on. That is both a descriptive statement of my view of the law as opposed to that of SCOTUS, and part of that is my normative support for much broader general free speech protections, and part of that is recognizing that these ships appear for now to have sailed, such that if the courts tried to enforce the actual words they would presumably fail.
Everything Is Both Speech And Computer
People are still determined to try. Thus, we are getting another round of people saying ‘code is speech.’ Technically yes of course code is speech, but a lot of things that we regulate these days are speech.
Some also now want to classify AI models themselves as speech and claim first amendment protections at the model level, such as Preston Byrne here.
I get where they are coming from, but there are lots of limits on things that are ‘similar levels of being speech.’ If we took everything that was ‘as much speech’ as an AI model, and said we could not restrict them, then our entire regulatory apparatus and civilization would work very differently.
Also, I do not think those advocating for the ‘freedom’ position understand the implications here, and are being insufficiently careful what they wish for, if this actually proved to have teeth, as opposed to ‘we control various levers of power over you so you will do what we say regardless.’
Preston Byrne: The user of an LLM is both speaker and listener. LLMs predict the next token in a context window; that context window is entirely user-generated, including both the user inputs and the previous LLM responses which would not have come into existence unless prompted by the user.
“Regulating AI” by controlling how people use LLMs is the regulation of expressive conduct. It might be the province of Congress to regulate other AI like self driving or industrial robots, but it does not likely have the power to control LLMs in the hands of ordinary people.
As I said above, I don’t think that holds as a practical matter of law, but courts surprise me reasonably often.
So suppose, in theory SCOTUS told the American government that once an LLM exists, they could not in any way control what was done with it, because any use of an LLM is expressive speech. And let us suppose, because of reasons, that there is no way around this in practice.
The obvious response of a government like ours - which to be clear I am not endorsing, I am only predicting, this is not normative - would be to prevent you from training a sufficiently advanced LLM, since this is too dangerous a thing to exist with zero controls on it.
Similarly, if once you get your hands on the LLM you can do what you want with it, then once the government has sufficiently woken up and the LLM is sufficiently capable, the battle would shift to not letting you get your hands on it unless you were someone it can control, or making you unable to run it in the first place.
The government is going to use the tools it has available. When you take away tools, it doesn’t drop the matter, it grabs whatever is left. The next issue is similar, if we can’t have independent regulators then we don’t get nothing. We get dependent regulators.
Lambs To The Slaughter
To that point, SCOTUS is if anything making this harder this week, not easier.
The 6-3 ruling in Slaughter v Trump overruling Humphrey’s Executor was not a surprise, but the quest for non-political regulations of all kinds got a lot harder this week.
SCOTUS has ruled that the President can fire, at any time, for any reason, anyone involved that he damn well pleases, with the exception of the Federal Reserve, which is, you know, because of reasons, the historical tradition and all that.
I think this is a rather terrible ruling in terms of its implications, and also on its merits, that will have far reaching consequences in other areas, and it also rules out what we would want to do to regulate AI without turning it into a political football or partisan weapon.
Ben Rossen: Trump v. Slaughter will have major implications for the future of AI regulation. If you want a federal body that can independently assess frontier models and then impose binding consequences - free from political or partisan influence -- that just got a lot harder, if not impossible.
Imagine Congress creates a Frontier AI Commission that can license major training runs, compel evaluations, restrict deployments, order emergency pauses, or impose penalties. Under today’s decision, its leaders could not be protected from presidential removal.
Why? The Court treated substantive rulemaking, investigations, enforcement, civil litigation, and in-house adjudication as executive power. A principal officer wielding those powers must be removable by the President at will.
… A general understanding that independence might be helpful is not itself enough: otherwise the same reasoning would protect the FTC, CFPB, NLRB, etc. The majority squarely rejected this technocratic argument.
Dean Ball disagrees with me and agrees with SCOTUS’s decision more generally, advocating ‘stripping away the fiction’ of nonpartisan agencies like FTC and SEC, and owning that they are partisan. In those cases especially, I strongly disagree. I think that even ‘the fiction of’ such non-partisanship is vital, and we should not return to a spoils system where the tools of financial and speech regulation are used openly for partisan advantage. Even if they’re going to somewhat be used this anyway, having to somewhat hide and be ashamed of, and not having the direct leverage, mitigates the damage.
How can we have a legitimate government, respected by the people, when it is known that such agencies are being used to hunt the President’s political opponents and favor his friends and those who pay him money? Do you think that, if a Democrat were to retake the White House, that this would not happen in reverse?
I used to think it was good to strip away hypocrisy in such spots. Now I have a better appreciation for Levels of Friction and what happens when you create common knowledge that the norms do not hold, and I no longer think that.
Dean Ball: Private governance institutions are one way to solve this problem. As I have written before: let’s vest political decisions--questions like “how safe is safe enough?”--in political institutions. But let’s place technical decisions--”once we’ve decided how safe is safe enough, how exactly do we determine this on a technical level”--in the hands of technical bodies overseen by government. A decision like Trump v. Slaughter isn’t the primary reason I was drawn to this notion, but knowing it would eventually happen certainly helped motivate my own research and advocacy of this idea.
In the case of AI, I don’t agree but I see practical reasons why this is reasonable, such as the need to pay dearly for expertise. But that completely doesn’t work for FTC or SEC?
Perhaps (mostly kidding, no don’t actually try to do this) we can move CAISI inside the Federal Reserve? I presume I am kidding, but also the main disaster scenario currently being contemplated is that cyber attacks compromise banks or the money supply. If we can place CAISI in Commerce, where it already clearly doesn’t really belong, why not the Fed?
Unfortunately, due to the Fed’s limited powers, we cannot move the actual AI regulator itself inside the Fed. We could in theory still move CAISI, if Congress wanted to, since it only provides information that others use to regulate, but it involves a host of other problems and also asking Congress to do it. I don’t actually want to do even this, because it risks turning CAISI’s focus into pure short term ‘what happens to the banks’ and looking away from AI R&D and even bio.
A Sign Saying Beware Of The Leopard
The basic situation these days:
MTS: SITUATION DETECTED: The Trump administration asked OpenAI to stagger the release of GPT-5.6 over national security concerns, per The Information.
Samuel Hammond: >pro X-ray glasses administration suddenly realizes X-ray glasses can see through their own walls too and begins to have doubts about marquee X-ray glasses promotion program.
A lot of people are suggesting instead that the leading X-ray glasses manufacturer is to blame because it kept pointing out X-ray glasses can also see through your walls, whereas the glasses should instead pretend they cannot do this.
Those glasses can, for example, be used to wipe out bank accounts, among other things, as he demonstrated to a Republican congressman.
Whereas Congress is on the level of ‘wait, the x-ray glasses are supposed to be AI?’
The new capabilities are scary, in large part because the people being scared did not even know about most of the old capabilities.
The Once And Present Mythos
The play by play:
Anthropic (June 26, 8:30pm): Since June 12, we’ve been working closely with the US government to restore access to Claude Mythos 5 and Fable 5. Today, the government notified us that Mythos 5, our strongest cybersecurity model, can be redeployed to a set of US organizations that operate and defend critical infrastructure.
We’re restoring access for these organizations quickly, and we’re continuing to work with the government to expand access to Mythos 5 and make Fable 5 available for general use again.
We do at least have Mythos 5 back, for ‘more than 100 US institutions, including major companies and government agencies’ as well as all Anthropic employees. Here is the front page of the letter Lutnick sent, without its Appendix A listing the institutions involved.
Fable 5 appears to be on track to return soon according to Axios, saying the Trump administration was as of Saturday close to restoring access. Success however depends on the NSA and Pentagon giving the green light, and relations with the Pentagon are Not Great, Bob.
I had not realized that throughout the whole Fable situation CAISI has been halted.
roon (OpenAI): the admin has pockets of technical excellence inside OSTP, and CAISI. pockets though. some really overworked guys, and I don’t know how empowered they are
Dean W. Ball: also worth noting that caisi has been on a stop-work order for most of this situation and ostp’s budget is comparable to the market value of a very-fine-but-far-from-top-tier home in the nicest neighborhoods of Washington DC. (Also rip collin burns.)
Does this all at least mean they care now?
Kinda. On some levels, yes. On other levels, no.
America takes a few narrow particular worries seriously now, but is definitely not thinking seriously about the problem of sufficiently advanced intelligence in general.
Dean W. Ball: While I have critiques of the export controls and other recent actions, there is a core truth that shouldn’t be overlooked: before the last few weeks, it was fair to question whether the United States took catastrophic AI risk seriously. Today, the answer is unambiguous: “yes.”
Eliezer Yudkowsky: Ahahahaha no. Unless by “catastrophic” you mean the kinds of dinky tiny cute catastrophes that have survivors.
Dean W. Ball: Idk if this is actually Eliezer but describing a pandemic as “cute” is psychopathic. I would suggest turning the reddit dial on this account down by a good 80%
Eliezer Yudkowsky: The only people I know taking even mere massive worldwide pandemics seriously are trying to scale private efforts to monitor wastewater for unfamiliar DNA. Where are the massive emergency mRNA vaccine factories, if some government is taking even lesser catastrophes seriously?
Dean W. Ball: when did “massive emergency mrna vaccine factories” become a)the barometer for taking ai risk seriously and b)a good idea
I mean, look, massive emergency mRNA vaccine factories are obviously a great idea,
関連記事
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み