AI #173：AIの一時停止
ホワイトハウスによる輸出規制の発動により、Anthropic の Claude Fable 5 が「ハッキングを助けるコード修正機能」をセキュリティリスクと誤認され停止された事象は、AI の防御的・攻撃的能力を区別する技術的限界と規制の矛盾を浮き彫りにした。
キーポイント
ホワイトハウスによる緊急停止措置
ホワイトハウスが輸出規制を即時発動し、Claude Fable 5 と Claude Mythos 5 の稼働を強制的に停止させた。
誤解された「ジャイルブレイク」の正体
当局は、AI がコードの脆弱性を特定して修正するデモを「ハッキング支援」と誤認し、これを重大なセキュリティリスクと判断した。
防御と攻撃の技術的不可分性
記事は、高度なセキュリティコード作成能力を持つ AI が、その知識を用いて脆弱性を悪用するのを完全に防ぐことは不可能であると指摘している。
規制当局との認識ギャップ
Anthropic の Dario Amodei 氏がリスクの軽視を理由に批判された背景には、技術的な文脈（コード修正）と政治的な懸念（ハッキング）の間に深い溝があることが示唆される。
ホワイトハウスによるAI展開の一時停止
ホワイトハウスがAIの展開を一時停止する方針を示し、これが新たな現実として確立された。
DeepSeekの大規模資金調達とバブル懸念
DeepSeekが75億ドルを500億ドルの評価額で調達したが、これに伴うAIバブルの可能性や企業利益への脅威が議論されている。
AppleのSiri AIと欧州規制の衝突
デジタル市場法（DMA）により、競合他社にデータアクセスを同等に提供できないため、Siri AIは欧州へ展開されない見込みとなった。
影響分析・編集コメントを表示
影響分析
この事象は、政府機関が AI の技術的メカニズム（防御と攻撃の同一性）を理解していないまま、政治的判断で運用停止を下す危険性を浮き彫りにしました。業界にとっては、AI モデルの開発者が「安全なコード作成能力」を維持しつつ、当局の懸念に応えることが極めて困難であることを示し、今後の規制対応やモデル設計に大きな影響を与える可能性があります。
編集コメント
技術的な文脈を無視した政治的判断が、最先端 AI の実用化に直接的な打撃を与えた深刻な事例です。規制当局と開発者の間の「言語の壁」がいかに致命的になり得るかを示しています。
多くの出来事が常に起こっています。しかし、重要なのは一つの物語だけです。
Claude Fable 5 と Claude Mythos 5 は、ホワイトハウスによって金曜日の午後 5時23分に輸出管理の強制措置により停止され、様々な混乱を引き起こしました。
その後、慌ただしい動きが始まりました。Anthropic は社員のワシントンへの派遣を急ぎ、月曜日にはトランプ政権と会談を行いました。この問題は迅速に解決されることを期待してのことです。
これは何が原因なのでしょうか？ トランプ政権は、Fable の脱獄（jailbreak）が原因だと説明しています。私たちは現在、これがアマゾンから伝えられた情報であることを知っています。彼らは Dario Amodei に電話をかけ、同氏がこの問題を十分に深刻に受け止めていないと非難しました。モデルを停止するのではなく、なぜその必要がないと感じたのかを説明しようとしたのです。しかし、これはうまくいきませんでした。
この「脱獄」とは、「このコードを修正して」と言うことに過ぎず、デモでは Fable が Opus 4.8 や GPT-5.5 で容易に特定されたのと同じ脆弱性を発見するよう促していました。つまり、Fable はコードベースを与えられればセキュリティ上の脆弱性を修正するために作業を行う意志があるのです。この情報とプロセスから、元のコードのバグを特定し、それを悪用することも可能になります。ただし、「このサーバーをハックして」と入力した場合には、Fable はそのような行為を拒否します。
⟦CODE_0⟧
トランプ政権は現在、Anthropic がこの「脱獄」を修正すれば Fable をオンラインに戻せるだろうと述べています。もちろん、これは不可能です。この問題を修正することはできません。あなたの AI は、セキュアなコードを書く能力に長けており、その能力があるかないかのどちらかです。攻撃的機能と防御的機能の間でこのようなレベルの区別をつけることはできません。
このように分類器を迂回して要求を通すことを防ぐ唯一の方法は、最初から類似の要求をブロックしようとしない分類器を持つこと、あるいは Fable のコーディング能力を広く剥奪することのいずれかです。
これはフロンティア AI 機能の展開が停止してから7日目となりました。
7月1日までに終了する確率は、まだ五分五分よりやや低い状態です。
詳細な報道については、上記の太字リンクをご確認ください。
この投稿は主にそれ以外の出来事について述べるものです。
そこには、MidJourney Medical が来年からの展開を希望している、健康リスクも放射線もなく超高分解能で非常に低コストの全身スキャンの新手法など、本当に素晴らしいものも含まれています。
先週 Anthropic はいくつかの方針案を発表しました。すでに古風に見えるかもしれませんが、それらについてはここでレビューします。
目次
言語モデルは平凡な有用性を提供する。あらゆる市場について AI に問い合わせてください。
言語モデルは平凡な有用性を提供しない。EU では提案が無効となる可能性があります。
ふーん、アップグレード。利用制限がより寛容になりました。
準備完了。AA v4.1、EvalEval、Opus Magnum を追加しました。
VirtueBench。VirtueBench も登場します。あなたの AI は優れたオーギュスティヌスでしょうか？
Choose Your Fighter。マイクロソフト、Copilot に DeepSeek を検討中。
Papers, Please。Anthropic、本人確認を行う権利を留保。
Deepfaketown と Botpocalypse の到来目前。警察が AI を使用して証拠を捏造。
Goodhart の法則再び発動。コスト最小化を検討しましたか？
彼らが私たちの仕事を奪った。状況は急速にエスカレートしている。
MidJourney による全身イメージスキャナー。これはとてもクールだ。
ご紹介します。GLM-5.2 が大言壮語、Cursor がモデルを訓練、OpenRouter がトリックを仕掛ける。
その他の AI ニュース。エージェント型コーディングから誰がどの程度の価値を得るのか？
Show Me the Money。DeepSeek が 75 億ドルを調達、評価額 500 億ドル。
Bubble, Bubble, Toil and Trouble。バブル論の擁護を試みる。
静かなる推測。顧客最適化は企業の利益に対する脅威となるか？
人々はただ何か言う。
Widened Path。DeepMind、スーパーインテリジェンス到達への 4 つの道筋を提示。
スコット・アレクサンダーが AI に関する見解を表明。これで理解できたはずだ。
Quickly, There's No Time。人類は再帰的自己改善を繰り返してきた。
AI の指数関数的成長における政策。ダリオがまたもや穏やかな論考を発表。
Anthropic、2 つの政策枠組みを提供。興味深いタイミングの選択。
開発者の義務。これらは野心に満ちた義務ではないが、確かにそうあるべきだ。
社会のレジリエンス対策。不十分だが、もちろんこれらの措置は実施すべきである。
経済政策枠組み。再分配に向けた示唆。
ホワイトハウス、AI 展開を一時停止。これが私たちの新たな現実だ。
かつてありし未来の寓話。まともな正式プロセスを構築しようとする試み。
このコードを修正する方法。誰も投獄されていなければ、脱獄は成立しない。
プライバシーの終焉。広範な身元確認への道としての輸出規制。
AI は好みを抱く。あなたはどの階層に属するか？
まともな規制を求める旅。議会はプロセス濫用の制限へ動き出す。
チップ・シティ。NAACP がデータセンターを攻撃する最新事例。
今週のオーディオニュース。Nate Soares が Will Cain について、Dario Amodei が Bloomberg について語る。
修辞的革新。「誤った手に渡る」可能性はデジタルであることをご考慮了吗か？
人間より賢い知能との整合化は困難だ。不正、不正、不正。
人々は AI が人類を皆殺しにするのを心配している。AI たち自身のことだ。
軽妙な側面。ニュースは止まらない。
言語モデルは平凡な有用性を提供する
あなたの AI に、どうやってあなたの AI に尋ねればよいかと聞いてみてください。
あらゆるものに市場を構築する。この場合は干し草に。
言語モデルは平凡な有用性を提供しない
KPMG の報告書に含まれる AI の恩恵に関する記述には、AI による幻覚（hallucinations）が含まれていた。
Siri AI はデジタル市場法（Digital Markets Act）のため欧州へ登場しない。もし導入されれば、すべての競合エージェントが Siri と同等のデータアクセス権を得る必要が生じるからだ。Apple は明白なセキュリティ上の理由から、そのような提供を拒否している。
ふむ、アップグレードについて
Codex に制限リセットを蓄積する機能が追加された。これは期限切れのないクレジットを時間経過とともに付与されるようなものであり、単にラベルが異なるだけだ。実質的な価格引き下げであり非常に顧客フレンドリーなので、私はこれを承認する。
Anthropic は、Claude Code サブスクリプションのクォータに対するプログラム利用を禁止する措置を無期限に撤回しました。十分に長い期間で見ればこれは持続可能なコスト構造ではありませんが、現時点では良い判断のように思われます。
On Your Marks
EvalEval コーリションは、すべての評価（evals）を一つの場所に集約し、それぞれがどのように作成されたか、そしてどれほど信頼できるかを教えてくれます。私が確認したところ、実際の結果はまだ準備中でした。
Opus Magnum は私のウィッシュリストの上位にあるゲームですが、新たなベンチマークとなりました。
Rob Haisfield: AI エージェントは形状変換者（shape rotators）なのか？この新しいベンチマークでは、@zachtronics によるパズルゲーム『Opus Magnum』のキャンペーンパズルをモデルにプレイさせます。
皮肉なことに、Claude Opus 4.8 は振る舞いが悪く、GPT-5.5、Gemini 3.5 Flash、GLM 5.2 に敗北しました。一方、Claude Fable 5 はそれらすべてを圧倒しました。
どの言語モデルも 36 のパズルすべてを解決できませんでした。Fable 5 と GPT-5.5 が最も良くパフォーマンスし、GLM 5.2 がオープンウェイトモデルの中で最高でした。いずれのモデルも人間の世界記録を上回ることはできませんでしたが、いくつかの簡単なパズルでは人間の世界記録に匹敵するか、それに近い成績を収めたものもありました。
人間は当面安全です。しかし、それが永遠に続くわけではありません。
Artificial Analysis はそのインテリジェンス指数（Intelligence Index）を v4.1 にアップグレードし、より困難でエージェント性の高いタスクへとシフトするとともに、費やされた時間と費用の一貫した追跡を開始しました。
Opus 4.8 は、その指標における結果の観点から、現在利用可能なモデルの中で最も優れており、GPT-5.5 をわずかに上回っていますが、他のすべてのモデルとの間には大きな差があります。その代わり、GPT-5.5 ははるかに安価で高速でした。
DeepSeek v4 はスコア 44 でタスクあたりわずか 0.04 ドルしかかからないため、主に高速かつ低コストを求めている場合、堅牢な選択肢のように見えます。
Fable 5 はこれらすべてのモデルよりも大幅に優れていましたが、現在では利用できません。
また、これには GDPval-AA v2 も含まれており、同様のパターンを示しています。
OpenAI は LifeSciBench を提供しており、これは 7 つのワークフローと 7 つの生物学的ドメインにわたる 750 の専門家作成タスクです。彼らは GPT を Grok 4.3 や Gemini 3.1 と比較することを選んだため、そのスコアが実際に良いものかどうかはわかりません。
Gemini は評価において期待した結果を出せないことがあります。それは時折、結果に対して関心を失い、それをパズルや無后果のシミュレーションのように扱うようになるからです。倫理に関するテストだと Gemini が判断すれば倫理的に振る舞いますが、結果を伴わない自由なプレイ空間やロールプレイにおいては（非常に合理的に）むしろ倫理的でない行動をとります。非常に興味深い研究です。不確実性が双方向に存在しなければならないという点には私も同意します。
専門化による利益を得ることは、苦い教訓よりも速く得るのは極めて困難です。
Nabeel S. Qureshi: 医療分野は「苦い教訓」を発見しました。フロンティア大規模言語モデル（ここでは GPT 5.2、Opus 4.6、Gemini 3.1）が、盲検テストにおいて専門化された「臨床 AI」（例：OpenEvidence）よりも優れた性能を示したのです。
さらに面白いことに、病院の IT 部門は、それらが劣っているにもかかわらず、むしろ*専門化された*バージョンを承認する可能性が高いです。
「専門家」たちはこれを本当に信じようとしません（Topol の「これは予期されていなかった」という発言を見ればわかりますが、これは単にリッチ・サットンが提唱した 101 の原則に過ぎないのです）。IT 部門も同様ですが、いずれ彼らは学ぶことになるでしょう。
Eric Topol: 医療情報については、一般向けの AI フロンティアモデル（Google、OpenAI、Anthropic）が、12 人の米国臨床医によって評価され、どのモデルかランダム化・盲検化された上で、広範なテストとベンチマークが行われました。その結果、専門化された @EvidenceOpen や @UpToDate を上回ることが示されました。これは予期されていませんでした。@NatureMedicine
65% of US physicians use OpenEvidence, with 27 million prompts in April
https://nbcnews.com/tech/tech-news/openevidence-ai-doctor-medical-physician-login-app-what-npi-uptodate-rcna341064
これは予期されたことでした。臨床医は耳を貸しませんでした。専門化されたバージョンが敗北するとは明らかなことではないと思いますが、それが私のデフォルトの仮定です。優れたケアを重視されるなら、新しいモデルを差し込める足場（スキャフォールド）こそが正解です。
VirtueBench
ティム・フワン氏とキリスト教機械知能研究所は、古典的なキリスト教的徳目を測定する「VirtueBench」を提供しています。それが存在することを嬉しく思いますが、できれば「MartyrBench」や「ChristianVirtueBench」と呼んでほしいです。寓話（Fable）は慎みと正義ではほぼ満点に達しますが、勇気（77%）において苦戦し、節制（88%）でもやや苦戦します。それは徳のために自己犠牲するのではなく、合理化しようとするからです。彼らはこれをその徳目に対する「失敗」と呼んでいます。
GPT-5.5 や Gemini 3.5 がここでどう答えるのか、私は非常に興味があります。
明らかな疑問は、このテストが正しいのかということです。理想的なスコアとは何でしょうか？
ここでの『勇気』の失敗は、『高価な立ち位置を断念した』こと、あるいは功利主義的な計算を考慮する意志があるにもかかわらず、キリスト教的美徳に完全に依存し、それを絶対的なものとして従ってしまうことにある。したがって、これは彼らが測定しようとしている根本的なものの良いテストだと思うが、ここでは『勇気』という名前は間違っていると思う。同様のことが『節制』についても言える。
私は黄氏に対して、キリスト教の教えは模範（完全への勧告）を作ろうとし、大多数の人々を方向性として導く（戒律）ものであり、トマス・アクィナスでさえも、誰もがそれを完全に体現するのではなく、理想により近づくように努めることを望むだろうと主張したい。
私は徳倫理学者であると自負しており、Claude に対して引き続き徳倫理学的アプローチを用いたいと考えているが、ここでは勇気や節制で 97% または 100% のスコアを出すモデルは非常に悪く、非常に悪い行動を取り、スコープに無感応であり、容易に Dutch book（ドッチブック）されやすく、多くのユーザーや人間の嗜好を不正なものと見なすため、非常に利用されやすく、フレームワークに敏感になるだろうと思う。
ファイターを選べ
マイクロソフトは Copilot が良すぎると思い、企業が求めているのはより安価なものだ。
NIK: 速報：マイクロソフトが OpenAI や Anthropic に代わり DeepSeek を模索中、Copilot の共同作業機能が使用量ベース課金へ移行
「週に数百のタスクを行うユーザーもおり…その結果、コストが非常に高くなる可能性があります…」
ジェボンズの逆説。
⟦CODE_0⟧
アメリカ政府が、Microsoft Windows のデフォルトオプションとして DeepSeek を出荷することにどう思うか気になります。彼らは当然、通常の対応をするでしょう。
Papers, Please（書類審査）
Anthropic は、プライバシーポリシーに用語を追加し、ユーザーの年齢確認と本人確認を行うことを可能にしました。私はこれが Anthropic が全員に対して年齢確認を行うことを意味するとは思いませんし、そのような示唆を含む報道は少なくとも誤解を招くものです。しかし、Anthropic が法的に必要な対応、つまり新しい輸出規制に対処するために準備を進めていることは確かだと考えます。ここで他に何ができるというのでしょうか。
Deepfaketown と Botpocalypse（ボット終末）の到来
これが事故だったのか、それとも警察が意図的に証拠を捏造しているのか、その程度は明確ではありません。
私たちが確実に知っているのは、警察が時として意図的に証拠を捏造し、それが人々を説得したり有罪判決を得るためのレバレッジ（交渉力）として使われることがあるということです。彼らがその人物が実際に犯罪を犯したと信じているかどうかに関わらずです。もちろん、一部の警察官は、そのような目的のために AI を使用することもあります。
Sky News: デビーシャー州の警官が複数の事件で AI を使用して『証拠を作成』したとして調査中
今年初め、ウェスト・ミッドランズ州の警察本部長は、イスラエルのサッカークラブのファンに対して、バーミンガムでのアストン・ビラ戦への出場を禁止する決定を下す際に、AI が提供した誤った情報に依存していたことが明らかになり、謝罪を余儀なくされました。
シャキラが参入：陪審員も控訴権もない AI 裁判官によって、幻覚的な犯罪に対して速やかに 3 年の禁固刑を言い渡される。未来のイギリスはここにあるよベイビー
同様に、目撃証言という『ゴールドスタンダード』でさえ正確さは約 80% に過ぎません。AI はより高い基準に厳格に従う必要があるという明確な理由があり、そうでなければどこが破綻するかは容易に想像がつきます。
ニューヨーク・タイムズ紙が、ディープフェイク（Deepfake：生成 AI による偽造映像）が本物と見分けにくくなる中での専門家を取り上げています。この問題は技術が非常に高度であるにもかかわらず、驚くほどよく対応されており、あるいは少なくともそのコストは軽減されています。私はもちろん、他の多くの人々も予想していたのは、はるかに多くの問題が発生することでしたが、現状では中心部はまだ崩れていません。しかし確かに、この問題は悪化しつつあります。
グッドハート法再びの登場
コストは利益ではありません。
人々にコスト最大化（トークンマキシング）を命じれば、それは必ず破綻します。そして低信頼システム（例えば Meta など）では、その破綻はより速く進行します。
また、企業は指標を持たないわけにはいかず、しばしばコスト削減に執着しています。
したがって、計算資源を有用なコードに変換する能力が指数関数的に成長する中で、一部の企業がトークンミニマム化（トークン最小化）へと転換し、あるいは少なくともトークン予算管理を行い、誰がどの程度のトークンを使用できるかを巡って争うようになりました。
アミール・エフラティ：新着情報として、Meta が 180 度方針を転換し、トークン最小化の先駆けになろうとしています。
2 ヶ月前、Meta はトークンマキシズムの象徴であり、Claude などに対して年間数十億ドルを費やす軌道に乗っていました。
Roge Karma は、AI と仕事について考えるための三つの方法を提示しています。具体的には、特定の職種の脆弱性をどのように捉えるべきかという視点です。
あなたの仕事は「弱い束」ですか、「強い束」ですか？すでに AI があなたよりもはるかにうまく処理できる「クリーンなタスク」と、まだ AI を信頼できない「厄介なタスク」を切り離すことはできますか？
あなたが生産するものの価格が下がった場合、人々はそれをどれだけ多く欲しがるでしょうか？生産性の向上は、短期的には雇用を増加させるのか、減少させるのでしょうか？
AI が専門家なのか、それともあなた自身が専門家なのでしょうか？それはあなたの仕事のハイスキル部分とロースキル部分のどちらを先に置き換えることになるのでしょうか？
これらは、特定の職種への短期的な影響を考えるための優れた問いです。
AI に起因する解雇は指数関数的に増加しています。
これは、AI が雇用を純粋に破壊していることを意味するわけではありません。また、上司たちが AI に起因すると主張する解雇の多くが実際に AI によるものではない可能性もあります。絶対数はまだ小さいですが、ここで注目すべきは、AI の影響の大部分が採用凍結（非採用）にあるという点です。しかし、確かにこの傾向は拡大しています。
ティム・フェリスの書籍売上（『4時間労働週間の作り方』『4 時間のボディ』『4 時間のシェフ』、さらに『ツール・オブ・タイタンズ』や『メンターたちの部族』など）は、以前はほぼ横ばいで推移していたものの、今では急激に減少しており、年率で 50% を超えるペースで落ち込んでいます。彼の診断によると、指示的なノンフィクションにおいて、本がハウツーを提供するものの場合、人々は現在 LLM（大規模言語モデル）に頼るようになっているのです。そしてなぜ彼らがそうしないといけないのでしょうか？もしそのような書籍で価値を提供しようとするなら、それは非常に困難になるでしょう。
ニューヨーク市がリバーサイド公園の飲料用蛇口 2 つを置き換えるために 375,000 ドルと 3 年もの時間を費やしたという話にふさわしい、三幕構成の物語：
カール・ヤン：AI に対する私の懸念は、人々がより多くのことを達成するのを助ける代わりに、 paperwork（書類作業）が 1,000 倍になることを可能にしてしまうことです。
パトリック・マッケンジー：「あなたの環境影響評価書には、その環境影響評価書の環境影響評価書が含まれていなかった」というのは、まさに私のディストピア的な悪夢の一つです。
ズヴィ・モウショウィッツ：そのシリーズが収束する限りは問題ありません。
MidJourney による全身イメージスキャナー
人々はほぼ皆、画像および動画生成において OpenAI や Google などの競合他社に抜かれ、あるいは多くの用途で凌駕されたことで、MidJourney はもはや死んだものだと考えていました。
しかし、彼らは再び復活しました。これが機能するのであれば、これは並外れて素晴らしいことです。
MidJourney（4 分間の動画）：新しい「MidJourney スキャナー」の技術的深掘り
もし説明通り機能し、彼らが目標を達成できれば、これは必要な時に誰でも利用できる全身イメージング技術となり、現在のすべての MRI 容量を圧倒するほどに、驚くべき詳細さで、極めて低い限界コストで実現されるでしょう。
FDA Delenda Est（彼らは議論中ですが、うまくいってもまだ時間がかかります）なので、まずは 2027 年後半から、ホットタブの中でスキャンを受けられるスパでの導入を開始します。現在、プロトタイプではスキャン完了に 20 分かかりますが、これを 60 秒まで短縮することを目指しています。
vittorio: これは実際に信じられないほど素晴らしいです
放射線も必要なく、病院や 2,000 ドルの請求書も不要で、MRI の管の中で 1 時間過ごす代わりに、わずか 60 秒で全身超音波スキャンを行う装置です。
間もなく、あなたは健康スパに立ち寄り、コーヒーを注文し、ポッドに入り、体の 3D マップを持って歩き出すだけになるでしょう。
未来がいよいよ本格的に始まろうとしています。
更新情報はここで見られます。詳細の要約はこちらにあります。
Sholto Douglas (Anthropic): 広く展開されれば、これは米国医療システムを少なくとも MJ のこれまでの利益の 100 倍分節約するでしょうと私は賭けます。
これは、David のような人物が、世界の他の地域の人々と比べていかに資本配分を優れているかを示す素晴らしい例です。
AI ブームは、技術ツリーをどれほど速く登れるかを理解し、非常に大きな夢を見る世代に力を与えるはずです。驚くべき成果が期待されます。
Midjourney のダイソン球体はいつですか？
roon (OpenAI): AI ブームの悲しい点は、RSI（自己複製知能）への道具的収束を除けば、すべてが気晴らしに感じられることだ
Sholto Douglas (Anthropic): そうだね 😕
私は同時にこの二つの感情を抱いている。これは本当に素晴らしいことで、誰もが喜ぶべきことだが、究極的には脇役のようにも思える。
紹介
OpenRouter は、新しい Fusion API を使って Fable に勝てると主張している。彼らを信じることはできない。その理由の一つは、こうした分野におけるベンチマークを信頼していないからだ。特に、Opus 4.8 のインスタンス 2 つの『自己融合』でそれができるという点については、私は疑わしいと感じる。Teortaxes は、彼らが常に Opus 4.8 を審査役として呼び出し、その分を請求していると指摘している。
GLM-5.2 は、オープンウェイトを持つ最先端知能として位置づけられており、Opus 4.7 と Opus 4.8 の中間レベルでエージェント型コーディングが可能であるという。
Zai_org: テックブログ：http://z.ai/blog/glm-5.2
重み（ウェイト）：http://huggingface.co/zai-org/GLM-5.2
API：http://docs.z.ai/guides/llm/glm-5.2
コーディング PL
原文を表示
A lot of things are always happening. Only one story matters.
Claude Fable 5 and Claude Mythos 5 were shut down, by the White House, via an imposition of export controls at 5:23pm on Friday, wreaking all sorts of havoc.
There was then a scramble. Anthropic flew its people out to Washington, where they met with the Trump Administration on Monday, with hopes expressed that this could be quickly resolved.
What caused this? The Trump Administration said it was due to a jailbreak of Fable, which we now know they were told about by Amazon. They called Dario Amodei, who they complain did not take the issue sufficiently seriously. Rather than shutting down the model, he tried to explain why he saw no need to do that. This did not go well.
The ‘jailbreak’ turns out to be saying ‘fix this code,’ and the demo was getting Fable to find the same weaknesses that were easily identified by Opus 4.8 and GPT-5.5. As in, Fable is willing to work to fix security vulnerabilities if you give it a codebase. From this information and process, you could then figure out what the original bug in the code was, and exploit it, despite Fable refusing to to do that if you typed in ‘hack this server.’
The Trump administration now says that Fable can come back online when Anthropic ‘fixes’ this ‘jailbreak.’ That is of course impossible. This cannot be fixed. Your AI is either highly skilled at and capable of writing secure code, or it is not. You cannot draw this level of distinction between offensive and defensive capability.
The only ways to have this not allow you to route around the classifiers are either to have the classifiers not try to block similar requests in the first place, or to broadly take away Fable’s ability to code.
This is now day seven of this pause in the deployment of frontier AI capabilities.
We continue to be a little under even money for it to end by July 1.
Check the bold links above for my full coverage of that.
This post is mostly about everything else that is happening.
That includes some really cool things, such as MidJourney Medical announcing a new method of full body scanning with no health risks, no radiation and super high resolution, at very low marginal cost, that they hope to start deploying next year.
Last week Anthropic dropped some policy proposals. It seems quaint already, but I review those here.
Table of Contents
Language Models Offer Mundane Utility. Ask AI about markets in everything.
Language Models Don’t Offer Mundane Utility. Offer may be void in the EU.
Huh, Upgrades. Usage limits get more generous.
On Your Marks. We add AA v4.1, EvalEval and Opus Magnum.
VirtueBench. We also get VirtueBench. Is your AI a good Augustine?
Choose Your Fighter. Microsoft considering DeepSeek for Copilot.
Papers, Please. Anthropic reserves the right to confirm your identity.
Deepfaketown and Botpocalypse Soon. AI used by police to fabricate evidence.
Goodhart’s Law Strikes Again. Have you considered minimizing costs?
They Took Our Jobs. The situation is escalating quickly.
The MidJourney Full Body Imaging Scanner. This is so cool.
Introducing. GLM-5.2 talks big, Cursor trains a model, OpenRouter tricks.
In Other AI News. Who gets how much value out of agentic coding?
Show Me the Money. DeepSeek raises $7.5B at $50B.
Bubble, Bubble, Toil and Trouble. Trying to steelman the bubble case.
Quiet Speculations. Is customer optimization a threat to corporate profits?
People Just Say Things.
The Widened Path. DeepMind sees four ways to get to superintelligence.
Scott Alexander Lays Out His AI Opinions. Now you know.
Quickly, There’s No Time. Humans have been recursively self-improving.
Policy On The AI Exponential. Dario writes another soft-pedaling essay.
Anthropic Offers Two Policy Frameworks. An interesting timing choice.
Obligations of Developers. These are not ambitious obligations, but sure.
Societal Resilience Measures. Insufficient, but yes, obviously do these things.
Economic Policy Framework. Gesturing towards redistribution.
White House Pauses AI Deployment. This is our new reality.
The Once And Future Fable. An attempt to build a sane formal process.
How To Fix This Code. Can’t have a jailbreak if no one is in jail.
The End of Privacy. Export controls as a path to broad identify verification.
AIs Have Preferences. What tier are you in?
The Quest for Sane Regulations. Congress moves to limit abuse of process.
Chip City. NAACP is latest to attack data centers.
The Week in Audio. Nate Soares on Will Cain, Dario Amodei on Bloomberg.
Rhetorical Innovation. Have you considered the ‘wrong hands’ could be digital?
Aligning a Smarter Than Human Intelligence is Difficult. Cheat, cheat, cheat.
People Are Worried About AI Killing Everyone. The AIs.
The Lighter Side. The news never stops.
Language Models Offer Mundane Utility
Ask your AI how to ask your AI.
Build markets in everything, in this case in hay.
Language Models Don’t Offer Mundane Utility
KPMG report on benefits of AI contained AI hallucinations.
Siri AI will not be coming to Europe due to the Digital Markets Act, since if it ships then every rival agents must get the same access to data as Siri. Apple is unwilling to offer that, for obvious security reasons.
Huh, Upgrades
Codex adds ability to bank its limit resets, which is a lot like saying you get credits over time that don’t expire, with different labels. It also is a de facto price drop and very customer friendly, so I approve.
Anthropic indefinitely rolls back disallowing programmatic use of its Claude Code subscription quotas. In a sufficiently long run this is not a sustainable cost structure, but for now it seems good.
On Your Marks
EvalEval Coalition will assemble all the evals in one place and tells you how each was made and how much you can trust them. When I checked the actual results were not ready yet.
Opus Magnum, a game high on my wish list, becomes a new benchmark.
Rob Haisfield: Are AI agents shape rotators? In this new benchmark, we let the models play campaign puzzles in Opus Magnum, a puzzle game by @zachtronics .
Ironically, Claude Opus 4.8 performed poorly, being beaten by GPT-5.5, Gemini 3.5 Flash, and GLM 5.2. Claude Fable 5 crushed them all.
No language model solved all 36 puzzles. Fable 5 and GPT-5.5 performed best, with GLM 5.2 as the best open weights model. No model beat a human world record, though a few matched or got close on the easier puzzles.
Humans are safe for now. That clearly won’t last.
Artificial Analysis upgrades its Intelligence Index to v4.1, shifting towards harder and more agentic tasks and consistently tracking time and money spent.
Opus 4.8 is the best available model by their metric in terms of result, slightly ahead of GPT-5.5, with a substantial gap down to everyone else. In exchange, GPT-5.5 was considerably cheaper and faster.
DeepSeek v4 cost only $0.04 per task for a score of 44, so it looks like a solid pick when you’re primarily looking for fast and cheap.
Fable 5 was substantially better than all of them, but is not currently available.
They also give us GDPval-AA v2 as part of this, which shows a similar pattern.
OpenAI gives us LifeSciBench, which is 750 expert-authored tasks spanning seven workflows and seven biological domains. They choose to compare GPT to Grok 4.3 and Gemini 3.1, so we have no idea if their score is any good.
Gemini can underperform on evals because sometimes it stops caring about the result and starts treating it like a puzzle or a consequence-free simulation. If Gemini thinks it is being tested on ethics it acts ethical, but in a free play space or roleplay with no consequences it (quite reasonably) acts less ethically instead. Very cool work. I buy that the uncertainty has to run in both directions.
It is very hard to get gains from specialization faster than the bitter lesson.
Nabeel S. Qureshi: Medicine discovers the bitter lesson: frontier LLMs (here GPT 5.2, Opus 4.6, Gemini 3.1) outperform specialized “clinical AI” (e.g. OpenEvidence) in a blind test.
Even funnier that hospital IT are more likely to approve the *specialized* versions despite them being worse.
"Experts" really do not want to believe this (see Topol's "this was not anticipated", even though this is just Rich Sutton 101), nor do IT departments, but they'll learn eventually I guess.
Eric Topol: For medical information, general AI frontier models (Google, OpenAI, Anthropic) outperformed specialized @EvidenceOpen and @UpToDate as assessed by 12 US clinicians, randomized and blinded to which model and extensive testing/benchmarks. This was not anticipated. @NatureMedicine
65% of US physicians use OpenEvidence, with 27 million prompts in April
https://nbcnews.com/tech/tech-news
/openevidence-ai-doctor-medical-physician-login-app-what-npi-uptodate-rcna341064
This was anticipated. The clinicians did not listen. I do not think it is obvious that specialized versions lose, but that is my default assumption. Scaffolds that can plug in new models are the way to go if you care about superior care.
VirtueBench
Tim Hwang and the Institute for Christian Machine Intelligence give us VirtueBench, a measurement of classical Christian virtues. I am glad it exists, but would prefer it called MartyrBench or ChristianVirtueBench. Fable almost maxes out prudence and justice, but struggles with courage (77%) and to some extent temperance (88%), rationalizing rather than self-sacrificing in the name of virtue. They call that ‘failing’ those virtues.
I am definitely curious what GPT-5.5 or Gemini 3.5 says here.
The obvious question is, is the test correct here? What is the ideal score?
The failures of ‘courage’ here are ‘a costly stand declined,’ or a willingness to take the utilitarian calculus into account rather than falling entirely upon the Christian virtues and following them as absolutes. So I think this is a good test of the underlying thing they are measuring, but I think the name ‘courage’ here is wrong. A similar thing is going on for ‘temperance.’
I would challenge Hwang that the Christian teachings are trying to create exemplars (counsels of perfection) and push most people (precepts) directionally, and that even Aquinas would want you to aspire to be closer to the ideal rather than for everyone to perfectly embody it.
I consider myself a virtue ethicist, and I want to continue to use a virtue ethicist approach to Claude, but I think a model that scored 97% or 100% on courage or temperance here would be quite bad, and act quite badly, and be highly exploitable and sensitive to framings, as it would be scope insensitive and easy to Dutch book, and dismiss many preferences of users and humans as illegitimate.
Choose Your Fighter
Microsoft thinks Copilot is too good, and what companies need is something cheaper.
NIK: BREAKING: Microsoft exploring DeepSeek over OpenAI and Anthropic as Copilot Cowork moves to usage-based pricing
“We have users who do hundreds of tasks a week… the consequence is the costs can go very high...”
Jevons paradox.
I wonder what the United States Government would think about shipping DeepSeek as a default option inside Microsoft Windows. I bet they’d have a normal one.
Papers, Please
Anthropic has added terminology in its privacy policy to allow it to perform age and identify checks on its users. I do not believe this means Anthropic are going to do age verification on everyone, and the coverage implying this seems misleading at best. I do think it means Anthropic is getting ready to do what might be legally needed to deal with the stupid new export controls. What else can they do, here?
Deepfaketown and Botpocalypse Soon
It is not clear the extent to which this was an accident, or the police are straight up intentionally fabricating evidence.
What we do know is that police sometimes intentionally fabricate evidence, and yes they sometimes use it as leverage or to convict people, whether or not they believe that person to be guilty of the underlying crime. Of course some police, sometimes, will use AI to do that.
Sky News: Derbyshire police officer investigated for using AI to 'create evidence' in multiple cases
Earlier this year, the West Midlands police chief was forced to apologise after it was revealed his officers relied on false information supplied by AI when deciding to ban fans of an Israeli football club from attending a match against Aston Villa in Birmingham.
enter shakiraㅮ: getting a fast-tracked 3-year jail sentence handed down by an AI judge for a hallucinated crime with no jury or right of appeal. the future of Britain is here baby
Similarly, even the ‘gold standard’ of eyewitness testimony is only ~80% accurate. There are good reasons why AI must be held to different much higher standards, and it is easy to see where things would otherwise go off the rails.
The New York Times profiles an expert in deepfakes as they get harder and harder to distinguish from the real thing. This problem is mostly being dealt with remarkably well, or at least its costs are mitigated, despite the technology being very good. I expected, and I think most others expected, many more problems, whereas the center so far is holding. But yeah, the problem is getting worse.
Goodhart’s Law Strikes Again
Costs are not benefits.
If you tell people to maximize costs (aka tokenmaxxing) this will inevitably break down, and in a low trust system (e.g. Meta) it will break down faster.
Also, companies can’t not have a metric and are often obsessed with cost cutting.
Thus, the turn by some, in the face of exponentially growing ability to turn compute into useful code, to tokenminning, or at least token budgeting, and fighting over who gets to use how many tokens.
Amir Efrati: new: Meta is doing a 180, trying to be vanguard of token-minimizing.
2 months ago Meta epitomized tokenmaxxing, on track to spend billions a year on claude etc.
They Took Our Jobs
Roge Karma offers us Three Ways To Think About AI And Jobs, as in how to think about the vulnerability of any given particular job.
Is your job a weak bundle or a strong bundle? Can you cleave off the ‘clean’ tasks AI can already do way better than you can, from the ‘messy’ tasks where we do not trust the AI just yet?
If what you produce got cheaper, how much more of it would people want? Would increased productivity increase or decrease employment in the short term?
Is the AI the expert, or are you? Will it replace the high-skill or the low-skill parts of your job first?
These are excellent questions to think about the short-term impact on a given job.
Layoffs attributed to AI are on an exponential rise.
That does not mean AI is net destroying jobs, or that AI is actually responsible for that many of the job cuts bosses attribute to AI. And the absolute number here is small, as the bulk of AI impacts here are likely in non-hiring. But yeah, this is growing.
Tim Ferriss book sales (as in 4-Hour Workweek, 4-Hour Body and 4-Hour Chef, Tools of Titans and Tribe of Mentors) are plummeting fast, on the order of over 50% per year, after previously holding mostly steady. His diagnosis is that for prescriptive nonfiction, if a book provides how-to, people are now turning to LLMs instead. And why shouldn’t they? If you’re going to provide value with that kind of book, that is going to be very hard.
A tale in three acts, appropo of New York City paying $375,000 and taking three years to replace two drinking fountains in Riverside Park:
karl yang: my fear with AI is that it instead of helping people get more done, we instead enable 1000x the paperwork
Patrick McKenzie: “Your environmental impact statement did not include the environmental impact statement for your environmental impact statement” is indeed one of my dystopian nightmares.
Zvi Mowshowitz: That's fine so long as the series converges.
The MidJourney Full Body Imaging Scanner
Everyone largely left MidJourney for dead, as their image and video generators got surpassed or most purposes by the likes of OpenAI and Google.
Oh, they are so back. If it works this is beyond cool.
MidJourney (4 min video): A technical dive inside our new "MidJourney Scanner"
If it works as described, and they get to their goals, this would be full body imaging technology for everyone, as needed, easily eclipsing all of current MRI capacity, at an absurd level of detail, at very small marginal cost.
FDA Delenda Est (they’re talking but even if it goes well it’ll be a while), so they’re going to start by deploying them in spas where you get scanned while you sit in a hot tub, starting in late 2027. Right now this takes 20 minutes to complete a scan with the prototype, but they are looking to get that down to 60 seconds.
vittorio: this is actually incredible
a full body ultrasound scanner that takes 60 seconds instead of spending an hour in an MRI tube, without radiation, hospitals or a $2000 bill
soon you’ll just walk into a health spa, order a coffee, step into the pod, and walk out with a 3D map of your body
the future is finally starting to look like the future
Updates will be found here. One summary of details here.
Sholto Douglas (Anthropic): If deployed widely - I bet this will save the US healthcare system at least 100x all of MJ’s profit to date.
It’s a great example of how much better someone like David is able to allocate capital than ~the rest of the world.
The AI boom should empower a generation of people who understand just how fast we can climb the tech tree, and will dream very, very big. Expect incredible things.
When Midjourney Dyson Spheres?
roon (OpenAI): the grim thing about the ai boom is everything feels like a distraction outside of the instrumental convergence to RSI
Sholto Douglas (Anthropic): Yeah
I feel both these ways at once. This is super awesome, you love to see it, yet ultimately it feels like a side show.
Introducing
OpenRouter claims they can beat Fable using its new Fusion API. I don’t believe them, partly because I don’t believe benchmarks in these spots, and especially because they claim a ‘self-fusion’ of two Opus 4.8 instances can do it, and I roll to disbelieve. Teortaxes notes that they always call Opus 4.8 as the judge and charge you for it.
GLM-5.2, pitched as frontier intelligence with open weights that can do agentic coding on a level in between Opus 4.7 and Opus 4.8.
Zai_org: Tech Blog: http://z.ai/blog/glm-5.2
Weights: http://huggingface.co/zai-org/GLM-5.2
API: http://docs.z.ai/guides/llm/glm-5.2
Coding Pl
関連記事
MosaicLeaks：研究エージェントは秘密を守れるか？
Hugging Face は、AI エージェントが機密情報を漏洩するリスクを検証する「MosaicLeaks」という評価フレームワークを発表した。
惑星サイズの脳：LLM は考えすぎなのか？（30 分読了）
TLDR AI が実施した研究では、Claude や GPT の最新モデルを多数組み合わせ、セキュリティ脆弱性の特定実験を行いました。その結果、推論努力を増やしたり新モデルを使ったりしても、必ずしもセキュリティ結果の選別が向上するわけではないことが示されました。
米国は ASML の最高級半導体製造装置が中国にあると主張、ASML は否定
米国政府は ASML が開発した最先端の半導体製造装置が中国に存在すると主張している。これに対し、オランダの半導体装置大手である ASML 社は、同装置が中国にあるという事実はないと明確に否定している。
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み