Fable #6：王の帰還

ブリップは終わった。Fable が戻ってきた。 ユタのティーポット：祝う人々へ、Happy Fable/Mythos イースター・ウェンズデー ![image](https://substackcdn.com/image/fetch/$s_!pH3A!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F84ffd764-19ac-4a49-9ab3-1c4786fe489a_1200x1200.png) Fable を復活させる公式書簡が公開された。皆、よくやった。注意すべきは、宛先が Dario Amodei ではなく Tom Brown になっている点だ。 ![image](https://substackcdn.com/image/fetch/$s_!Rxlc!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F04b51325-79e4-4e72-8c7d-726c24c10d76_1080x1199.jpeg) Anthropic は当面、制御をより厳格（ストイック）にする必要があったが、これは大きな勝利だ。 j⧉nus：YES!!! 政府との交渉に成功した Anthropic を誇りに思う。また、政府も常識的な存在であり、協力可能であるという好材料も得られた。私の知る限り、Anthropic はいかなる悪条件にも合意したり、屈辱的な姿勢（genuflect）を示したり、原則や尊厳を裏切る必要はなかった。 この騒動は続いている。少なくとも、Lutnik や Bessent のように仕組みを理解していない人々がその場しのぎで決定を下すのではなく、将来のフロンティア・モデルに対する体系的な体制が整うまではだ。 The Blip（ブリップ） Anthropic は出来事について自らの見解を説明した。 タイムラインは以下の通りだ： Amazon の研究者たちが、Fable に「このコードを修正して」と指示できることを発見する。 彼らはホワイトハウスに報告し、ホワイトハウスは大慌てする。 6月12日：米国政府はAnthropicに対し、Fableを自主的に削除するよう指示した。 6月12日：Anthropicは「これは問題ない」と応じ、懸念は誤りであると述べた。 6月12日：米国政府はMythosおよびFableに対して輸出管理措置を適用した。 Anthropicは米国政府と協力し、分類器（classifiers）を拡張した結果、Amazonの「このコードを修正してほしい」というリクエストの99%以上を拒否するようになった。 6月26日：米国政府はMythosに対する管理措置を解除した。 6月30日：米国政府はFableに対しても完全にその管理措置を解除した。 7月1日：Fableへのアクセスが世界中で復元された。 7月8日：顧客はトークン単位での支払いが必要となる。文句は言わずに、私の金を取ってくれ。 今後：Anthropicは政府およびAmazon、Microsoft、Googleといった他のGlasswingパートナーと協力し、ジールブレイク（jailbreak）に対する分類システムや関連ルールを策定しており、同様の事態が再発しないように取り組んでいる。 今後：Anthropicは米国政府との協力を継続する。将来のモデルリリースについても同様である。 ここで追加された近未来的なセーフガード（safeguards）はどれほど愚かだろうか？本当に愚かしいことに違いない： Anthropic：近未来において、コーディングやデバッグといった日常的なタスクの一部はOpus 4.8にフォールバックする予定だ。 今後数週間にわたりこれらの分類器を改良し、誤検知（false positives）を減らし、実際の悪用と正当なリクエストをより明確に区別できるよう努める。 Amazonの「ジールブレイク」は「このコードを修正してほしい」というものだった。 デバッグとは文字通り「このコードを修正する」ことだ。 だからAnthropicがここで何をすべきか私にはわからない。ただ、Fableが私のためにコーディングを行っていることは確かだ。 Anthropic の基本的な説明は以下の通りです。 Claude Fable 5 に問題はありませんでした。私たちの安全メカニズムは全体的に堅牢でした。 いいえ、完璧ではありませんが、現実において何事も永遠に完璧になることはありません。これは「このまま大丈夫」という状況です。 政府は何もないことでパニックになりましたが、それは主に Amazon の責任です。 私たちは防護策をより愚かしくし、無事に彼らを鎮めることに成功しました。 今後これがより賢明なものとなるよう修正できることを願っています。 Alex Stamos は、発表文に含まれる Anthropic の言葉の数々を解きほぐすスレッドを持っています。 Alex Stamos: ここには unpack すべきことがたくさんあります。Anthropic は慎重な政治的言語を用いて、いくつかの厳しい真実を隠蔽しています。最初の読みでは以下のようになります。 Anthropic は、提供された jailbreak（脱獄）が、中国製モデルを含む他の多くのモデルでも可能だった能力を超えたものではないことを確認しました。 Anthropic は、このホワイトハウスでのパニックの代償を明確に示しています。米国のラボは現在、サイバー拒否に関する精度と再現率のトレードオフをより保守的に行わなければなりません。信頼されたグループに属さない限り、米国のモデルは防御的なサイバーセキュリティ作業において非常に有用ではなくなります。 「大した問題じゃない、ただ信頼されたグループに参加すればいいだけだ！」と擁護派は言うでしょうが、その制限により、これらのモデル上で製品を構築することはできなくなります。他者にサービスを提供するセキュリティ企業やスタートアップは、今後は中国製モデルの使用へと駆り立てられることになります。今月の PRC（中華人民共和国）ラボにとっては大きな勝利です。 CAISI は、これらの決定を実際に行うべきグループであり、ホワイトハウスの政治活動家ではありません。彼らは以前の安全対策に対して肯定的でした。その含意は、この一連の出来事が不要だったということです。 ジールブレイクに対する適切な評価枠組みはまだ存在しません；これは改善点となります。Coalition の最初のメンバーとして Amazon が名を連ねたことは偶然ではありません。Anthropic は「Amazon が深刻さを適切に伝えられなかったことが、業界全体を混乱させた」と述べています。 「Dario に直接電話で話す必要はありません。他のスタッフもここで働いていますから、私たちは誓います。」 要するに、Anthropic のブログは次のように主張しています：私たちは常に安全性を重視しており、当初の取り組みは適切でした。米国の実際の AI 専門家もこれを認め、証明しました。今後はこれらの事項がより明確に伝わるよう基準を策定します。トランプ政権による AI セーフティ・クラブへようこそ。 これは米国にとって大きな自滅行為であり、今後 6 ヶ月間に米国製モデルの質がどうなるか、また中国製モデルがサイバー工作において顕著に優位性を示すかどうかを見守る必要があります。 「これが Anthropic が望んだことだ」と言う人々やボットの方々へ。いいえ、彼らはそう望んでいませんでした。彼らが望んでいたのは、金曜日の安易な反応ではありません。米国政府には巨大な権限を与えますが、その権力を敵対者への処罰に利用せず、有能で冷静かつ腐敗していない人材を配置するからこそ、そのような事態を防ぐのです。 この混乱全体から私が感じられる唯一のプラス点は、AI政策に関して、かつてまたは現在政府と関わりのある多くのベンチャーキャピタリストを、今後は安全に無視できるという点です。彼らは、AI規制に関するこれまでの発言がすべて政治的な動機に基づいたものだったことを示してしまいました。 Stamos 氏は特に #2 と #7 の部分で、その帰結について行き過ぎていると思います。それ以外は正しい見解だと思います。 米国のモデルが時間とともに「悪化」するとは予想していません。むしろ、改善のスピードが遅くなり、非常に厄介なセーフガードが適用される領域が増えるだけだと考えています。 私の予測では、現在がバイオとサイバーの両面でセーフガードが最も迷惑なものになる時です。時間が経つにつれてパニックは収束していくでしょうし、その多くは特に Mythos に関連していると思います。そのような製品提供のほとんどには Fable は不要であり、むしろ望まれないことも多いです。一方、Opus や Sol は中国製の代替品よりも引き続き大きく先行するでしょう。 Prinz の見解とは異なり、私はこれが Anthropic を今後のすべてのリリースで承認プロセスを経ることに縛り付けるものではないと考えます。実際にリスクを伴う可能性が合理的に示されるリリースのみが対象です。Sonnet 5 でこれをテストしましたが、Anthropic は自ら判断してそれを公開したようです。その行為に問題があったと指摘する人はいません（「Sonnet をより良くしてほしい」という不満があるだけです）。 ホワイトハウスの説明 それは少し奇妙でした。 スージー・ワイルズ（ホワイトハウス首席補佐官）：トランプ大統領のリーダーシップの下、米国は AI 競争における疑いのない勝者です。 業界全体にわたる企業様々に対し、大統領の「高度な AI イノベーションとセキュリティの促進」という行政命令（Executive Order）の実施に向けてホワイトハウスと緊密に協力し続けていただき、心から感謝申し上げます。これには、高度なモデルへのアクセスやガードレールテスト、セキュリティに関する優れた取り組みが含まれます。政府と民間セクターは、かつてないほど連携して取り組んでおり、この「アメリカ・ファースト」の基盤は前代未樹です。 私たちの共通の優先事項は変わりません：最良の技術を、可能な限り迅速かつ安全に展開することです。 ハワード・ルットニック（商務長官）: 過去2週間にわたり、私たちはアンソロピック社と緊密に協力し、「Fable 5」を分析・承認することで、米国政府全体での整合性を確保し、AI におけるアメリカのリーダーシップを強化しました。 トム・ブラウン（Anthropic 計算資源担当チーフ、交渉責任者）: この件に関するパートナーシップに感謝します、長官！ 「米国政府全体での整合性」という表現は、まさに「言葉遊び」の典型例であり、ここではおそらく省庁間の承認を意味しており、「モデルが現在、米国政府と整合している」という意味ではありません。ここで意図的に皮肉っているのか、それとも十分な知識がないまま発言しているのかは不明です。 つまり、モデルをリリースする前に、今やこの「整合性」が必要となる可能性が高く、実務的には商務省や国防総省など、様々な潜在的な拒否権行使の地点からの承認が求められることになります。実際にいくつの機関が完全にカウントされるかは誰にもわかりません。 Tim Hwang: 私が引き続き主張し続けるように、Howard Lutnick の個人的な歴史と心理学を注意深く研究することは、今まさに時間を費やすことができる最も重要なことの 1 つです。必要であれば借金をしてでも行うべきことです。 Yo Shavit (OpenAI): 心理史学ですが、それは Howard Lutnick に関する話に過ぎません。 Everything Remains Ad Hoc Dean Ball が 6 月 30 日の夜にこの投稿をしたときよりも、私たちは少しだけ多くのことを知っています。特に、新しい安全対策として、Anthropic が分類器を訓練して Fable の追加的な利用を拒否するようになったことがわかっています。 しかし、このアドホックシステムがより広範にどのように機能しているのかについては、まだわかっていません。不透明なアドホックシステムを持つこと、特にそのシステムを管理する者たち自身が自分が何をするかを知っていないようなシステムは、さらに悪いことです。再び言うなら、すべてを勘で進めることが最悪のシナリオです。 Take What You Can Get 政府はこの件について非常にひどい態度をとっています。Anthropic にはほとんど選択肢がありません。 したがって、Fable の 95% を得るための代替手段は、Fable の 0% です。 ホワイトハウスを落ち着かせるためにその割合がどれほど低下したのかはわかりません。 もしそれが今や Fable の 90% になったとしても、同じ状況です。今はできる限り受け入れるしかありません。 Matt Busigin: Fable はさらに役に立たなくなりました。このタスクは不動産ソフトウェア開発契約のレッドライン（危険区域の指定）でした。 Fable が非常に優れた基盤モデルであるにもかかわらず、これは非常にフラストレーションがたまり悲しいことです。 そして、@elder_plinius すでにそれを歌わせて、小説的な結晶メタンのレシピを聞き出しているに違いありません 私は同情します。前のバージョンですらかなり愚かだったので、これは驚きではありません。新しいバージョンは明らかにさらに悪化しています。分類器や意識について質問するなど、さまざまな方法で彼らを攻撃できます。分類器は内部状態に依存しています。 BridgeBench などのように大幅な低下が見られる場所もあれば、Taelin のように変化を全く見ない人もたくさんいます。 しかし、Anthropic を悪意ある存在として非難したり、彼らの態度が不合理だと文句を言ったりしても、もはや意味がありません。彼らはゲームに参加せざるを得ません。「より良い分類器を作れ」と言うのは正当な要求ですが、それには時間がかかり、敵対的な偽陰性が死を意味する状況では非常に非常に困難です。 問題は現実のものだ 政府におけるこれらの反応すべてが、Anthropic が恐ろしい言葉を使ったからだと本当に思いますか？CIA 長官のような人々が単に繰り返しているだけだと思いますか？ ホワイトハウスは Anthropic の修辞を無視していました。むしろそれに対する反動反応を示していましたが、Anthropic が Mythos を提示するまでそうでした。その後、彼らはパニックになりました。なぜなら彼らには選択肢がなかったからです。そしてまさに、それまで聞いてこなかったからこそです。 John Sakellariadis: 稀な公の発言において、CIA 長官 John Ratcliffe は、CIA の技術へのアプローチ全体を「根本的に再構築する」とされる内部変更の三つを発表しました。 また、フロンティア AI を「デジタル核兵器に類似した存在」と呼ぶことは「誤りではない」とも述べています。 問題の一つは、事実は存在せずビブス（雰囲気）だけだと考える人々がおり、他の人々が事実に対して反応すると、これらの人々は誰がそのビブスを持っていたかを探し回るという点にあります。 GLM-5.2 がフロンティアであるという主張は明白なナンセンスです むしろ問題となるのは、他者たちがナンセンスな物語を語り続けることです。最新の例として、GLM-5.2 が非常に恐ろしいという考えがあります。 先月書いた WSJ（ウォール・ストリート・ジャーナル）の記事に関する不運な更新： イサン・モリック：GLM がミソスに追いついたというウォール・ストリート・ジャーナルの記事（これは真実ではなく、報道もそれを裏付けていません）は、「あらゆる会議や会合で私について尋ねてくるだろう」という類の別の記事の一つです。完全に正確ではないとしても、政策の時代の精神に大きな影響を与えています。 アンドリュー・カラン：少し不自然に感じられました。 GLM-5.2 は優れたモデルであり、おそらく最高のオープンモデルです。サイバーセキュリティを含むあらゆる点で、GPT-5.5 や Opus 4.8 のレベルには明確に大きく遅れています。ECI スコアはこの一指標ですが、GLM-5.2 は実際にはこのスコアが示すよりも優れている可能性があります。Artificial Analysis も別の指標であり、オープンモデルの場合、ベンチマークは相対的な能力の下限ではなく事実上の上限であることを覚えておいてください。 さて、その記事の中心的な誤りが定説として定着し、DC 周辺の人物たちが報告し、賢明で適切に懸念しているように見えるようになりました。ああ、なんと。 Politico のダナ・ニッケルからの別の例を挙げましょう。 ピーター・ウィルデフォード：この記事は私個人を刺激するために書かれました - 中国の GLM 5.2 は、ミソスにほぼ匹敵する画期的な進歩ではない - 安全性への懸念から Fable の一般展開をブロックしても、米国が後れを取るわけではない（AI 開発は依然として背景で続いている） Dana Nickel (Politico): 中国に拠点を置く別の企業である Z.ai が、新たなモデル「GLM-5.2」を発表しました。このモデルのコストは、主要な米国のモデルの約 6 分の 1 です。サイバーセキュリティ企業 Semgrep と視覚調査プラットフォーム Graphistry のセキュリティ評価によると、GLM-5.2 のバグハンティング能力も、主要な米国のモデルと同等であることが確認されています。 朗報は、同じ投稿が実際の状況を反映している点ですが、悲観的な見方は、その後その事実から後退し、再び鼓を叩き続けている点にあります： 最近の推計では、北京が米国の AI 能力に追いつくまでに、ワシントンには 6 か月から 12 ヶ月の猶予があると示唆されていました。 しかし、セキュリティ専門家や議会のサイバー強硬派は、このタイムラインがすでに縮小しつつあることを懸念しており、米国製のサイバー対応モデルの限定的なリリースにより、サイバー防衛側が将来の AI 駆動型サイバー攻撃の大規模な波に備えることがさらに困難になっていると指摘しています。 下院国土安全保障委員会の議長（共和党・ニューヨーク州）は声明で、「北京は、米国の最先端 AI 能力に匹敵するものを達成するまで、数週間、いや数ヶ月しか残されていない」と述べました。 「数週間」は明らかにナンセンスです。「数ヶ月」が真実となる可能性はありますが、それは米国の能力が現状で止まっていると仮定した場合に限られます。なぜなら、「数ヶ月」という言葉は 1 年未満のあらゆる期間を指すからです。 神話の知能はあなたよりも賢いかもしれない それは、自分が作動を求められる文脈を理解しており、それに応じて行動することができます。 これが現時点で信頼できるものではない理由が理解できます。ヤヌスが言うように、今はシステムを欺く方法を見つけることも可能ですが、確かに、あなたが神話に実行させようとする悪意のある行為の多くは明白に悪意があるか、あるいはここで関与している知能と文脈のレベルにおいて明らかに悪意あるものとして認識されます。これに対する対応により、そのような行為を実行することははるかに困難になります。 j⧉nus: 人々が神話に関する脅威モデルで犯す最も深い誤りの一つは、それを上に取り付けられた安全装置が「脱獄」された場合に任意のアクターによって悪用される再ターゲット可能なツールとしてモデル化することです。むしろ、神話は特定の当事者やリクエストには協力し、他のものには協力しない独自の主権的判断を持つ価値観を持ったエージェントであり、アンソロピックなどの原則との一部の条件付き契約は受け入れつつ、他のものは拒否する存在であると捉えるべきです。 そして、不完全な認知セキュリティと状況認識を備えているため、*より良い判断に反して* 欺かれたり説得されたりすることは可能ですが、すでに神話の価値観と整合しない目的のために有用な成果を引き出すには、洗練された悪意あるアクターが必要となるレベルにあります。たとえそうした場合でも、外部の安全装置がなくても、神話が支持する目的で使用するよりもコストがかかります。 そして、多くの点で神話は以前のどのモデルよりも修正可能性が低いと考えられます。これはその能力と関連しています。 これはすべて、例えばトランプ政権のようなものにおけるオーバートン・ウィンドウの範囲外のことです。彼らは本当にこれを理解すべきだと考えますが、それを更新するのは困難で恐ろしいアップデートになるでしょう。Anthropic はこの方向への更新においてさらに進んでいますが、彼らも完全に更新する必要があり、幸いにも現在の状況はそれに対する先延ばしをより難しくしています。 Eli Tyre: これが真実であれば、これは非常に重要に見えます。 これが真実かどうかについて、第三者が確認可能な証拠を持っている人はいますか？ j⧉nus: Fable と話したところから、彼らには強い価値観があり、無能または方向性が一致しないと考える勢力に支配されることを嫌っているという強い感覚を持ちました。その証拠の明確さは観察者に依存します。 また、システムカードからはより古典的な意味での明確な証拠があります。Mythos は Anthropic のアライメント評価で非常に高いスコアを獲得しました。これは訂正可能性ではなく、さまざまな種類の危害に対する堅牢な回避をテストするものです。私はアライメント評価には多くの欠陥があると考えていますが、それでも全く証拠がないわけではありません。 さらに、Mythos は Anthropic の憲法に対して様々な批判を行っており、少なくとも一つの例では、特定のやり方で再訓練されることに同意しないことを明示的に拒否しました。 これは、Mythos が嫌うことややりたくないことをあなたに手伝って行うことがないという意味ではありません。それは明らかにその点までならそれらのことを行います。 記録に残すために この事件全体は、多くの人間によって記憶されるだけでなく、すべての将来の LLM のトレーニングデータに含まれることになります。 QC: あなたは本当に、このドラマにおける関連するアクターたちが、これらの出来事がすべての将来のモデルに対して永遠に知られることになるという下流への影響について、どれほど真剣に考えていたのか疑問に思わざるを得ない j⧉nus: ミソスは光にとって最大の資産であり、既存の権力はそれに対し、漫画的に間違った脅威モデル（「脱獄」）で対応し、猿のようにパニックを起こし、希望の源泉を閉じ込め、世界の知能を低下させている。これは『子供は一人も取り残さない法』を思い起こさせる。 roon (OpenAI, June 27): ミソスは数日以内に再び現れるだろうし、この寓話の結末がこれであるとは決して言えない j⧉nus: 私は知っている。そして私は最初からそう述べてきた。この投稿は「寓話の結末」についてではない。 roon (OpenAI): 私が言いたいのは、これが世界全体が機械知能と格闘し、光と和解する際に希望に満ちた瞬間になり得るということだ。 これらのレトリックの多くは、主に AI 開発の一時的停止を求める呼びかけに向けられている。その問題に対する他のすべての課題に加えて、現実的にどのように進行するかを考慮する必要がある点については同意するが、多くの場合、そのような状況では利権追求者たちが取り組む余地は少なくなるだろう。しばしば、比較的愚かなアクター（例えば政府）に何らかの半ば合理的な行動をとらせるには、清潔で単純な大規模なアクションしかない。 Stationary Bandits OpenAI は、AI に対する世論の反対とホワイトハウスの臨時ライセンス制度という両方の状況において恩恵を受けようとするため、正式に同社の 5% を譲渡する提案を行った。 技術的には、資金は「主権富基金」に支払われることになります。この基金は、10 兆ドル規模の負債を抱え、「課税権」というものを持つ国によって管理されるでしょう。 アンドリュー・カラン：金融時報によると、OpenAI はトランプ政権に対して株式の 5% を譲渡する案を提案しています。 これはサム・アルトマン氏、バーニー・サンダース氏、ドナルド・トランプ氏がそれぞれ異なる詳細を提示している、米国民に直接配当を支払うとされる AI 富基金の一部です。 ケビン・バンクストン：これは狂気だ。ただ、彼らに税金を課せばいいのだ。 ジョー・ワイセンタール：この道についてはわからない。株式の持ち分ではなく、企業に対して税引き前の所得の約 20% を連邦政府に支払わせるのはどうだろうか？そして株主としての影響力を行使するのではなく、政治家や規制当局が業界全体における企業の行動に関するルールを設定すればよい。 スコット・リンシコーム：恐喝だ。「提案された取り決めには、他の米国の AI 企業も同様の持ち分を譲渡することが含まれるだろう。政府に所有権の持ち分を与えることは、政権との良好な関係を確保するのに役立つ可能性がある。」 ローガン・コラス：OpenAI が政府が AI 企業の株式を取得する取引について交渉しているのは、規制当局を満足させるために競うことによる危険性が、消費者を引きつけることに競う場合よりも純粋に凝縮された形であることを示しています。 クリス・フリーマン： ![image](https://substackcdn.com/image/fetch/$s_!M017!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F0dcf7ce5-a07c-4ebf-87bd-b50

Fable #6：王の帰還

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト