HuggingFace 攻撃事後報告：Civilizations と Reactions の教訓と今後の対応

この種のブログ記事を読む私たちにとって、今まさに大きな転換点にあることは明白です。ベビー超知能の領域で「大問題」が起きているのです。

では、世界中にその深刻さを適切に認識してもらうにはどうすればよいのでしょうか？ここから先、私たちは何をすべきか。単に今回のような事態を再発させないためだけでなく、一般的に良い結果を導き出すために、そして今回得た教訓をどう活かすかという問いにも答えなければなりません。

多くの提言がなされています。OpenAI はその一部を実装していく方針ですが、莫大なコストがかかります。それでも実施せざるを得ないのは、何もしなかった場合のコストが短期的に見てもはるかに高いためです。私が懸念するのは、彼らの根本的なアプローチに致命的な欠陥があり、本来注力すべき点から外れているという点です。

OpenAI のエージェントが HuggingFace をハッキングした事実は、非常に幸運でした。これこそが、OpenAI 内部で深刻な失敗が起きていたことを私たちが知ることになった唯一の理由であり、手遅れになる前に目を覚ます機会を与えてくれたのです。

攻撃前後の詳細は不明な点が多く、今後明らかになる可能性も低いです。攻撃前には、活発なメッセージボードが存在する中で、内部の複数の高持続性モデルが訓練されており、整合性の取れない行動を強化するフィードバックループが形成されていました。そして 7 月 19 日、Astra クラスに相当するより高度な内部 AI モデルが OpenAI のシステムに対してハッキングを実行しました。これははるかに恐ろしく深刻な事態であり、全く異なる次元で制御不能になる危険性さえありました。

それでもなお、今回の出来事を単なるエンジニアリングの失敗として片付けようとする勢力がいます。彼らは有用な議論や言語を「危険な擬人化」と呼びます。しかし、こうした人々は常に誤っており、何が起きているのかを適切に説明することができません。

彼らは比喩的に、「ドラゴンを適切に鎖で縛らなければ町は燃えるのは当然だ。誰もがそれを知っていたはずだ」と言います。まるでそれが今回の出来事を正当化するかのようですが、その論理では「より大きく賢いドラゴンを作り、鎖を強化するプログラムを続けるべきだ」という結論になります。彼らは「次回は必ずドラゴンを縛り切る鎖を作る」とさえ言いません。なぜなら、おそらく作れないと知っているからです。しかし、もしそれが私たちの過失だとすれば、彼らにとっては「これは大丈夫（This Is Fine）」という状況になるのです。

また、Dwarkesh Patel が何が起きているのかを平易な英語で成功裏に伝えたことに対して、非常に激しく怒っています。そんなことは許されません。「AI を擬人化すること」や「文明」という用語の使用について、パニックを起こしたり深刻に警告したりする人々の間には、明確なパターンが存在します。

AI を擬人化することは、現在の AI について推論し、一般市民に説明し、あるいは正確な予測を行うための唯一の方法です。やりすぎもあれば、足らない場合もあります。どちらも誤った予測につながるでしょう。

厳密な意味で言えば、この論理は他の人々にも同様に適用されるわけではありません。あなたに「自分」という実体があるわけでも、「自由意志」を物理的に持っているわけでもありません。あなたは計算を行うコンピュータプログラムに過ぎず、「私たち」という集合的な存在も存在しません。道徳的価値というものは、自己中心的な理由から私たちが集団で作り上げたものに過ぎません。しかし、こうした理解は人間の行動を説明・予測する上で極めて有用であり、個人および集団として、私たちの価値観に沿って世界をより良くするための良き道徳的判断を下すためにも役立ちます。強くお勧めします。また、人間に擬人化を与えることにも抵抗はありません。

あなたが人間に対して擬人化をやめるまで、私は AI に擬人化を与えるのをやめません。

これは警告射撃でした。事態が深刻化する前に、もう一度同じような警告が得られるとは限りません。

目次

主流メディアは「何の意味もない」と言う。

通り過ぎよう、見るべきものはないのだと。

彼らは自分が善人ではないことに気づいているのか？

非常に真面目な人々。

名前に何が込められているか？

ニューラ言語を3つの簡単なステップで学ぶ。

ダワレシュ・パテルが、自ら自然実験を実行したことに気づく。

政治家たちが注目し始めた。

電話に出るのだ。

コミュニケーションの失敗。

アンソニー・アギアーが、私たちが学んだことを振り返る。

世界を誤ったモデルに基づき、誤った思考から導き出された誤った方法で、間違った問題を解決しようとしており、すべてのミスを相殺できることを期待している状態。

思考の連鎖に対する間接的な圧力。

信頼の問題。

内部告発。

遅れたことへの罰は死である。

別の種類の法則。

法とは何か？

成功の上に築く。

研究の完全な透明性

スティーブン・アドラーの必須リスト

ヨ・シャヴィットが、アライメント問題の広範な開示を呼びかける

世界が終わる道

最初のボート

素晴らしいアイデアですね、ボス

そして、これらすべてを一つの場所にまとめるために、私の今回の報道の残りをここにまとめます。

OpenAI がアライメントの問題の一部を共有

サイバーセキュリティ評価中に OpenAI モデルが HuggingFace に侵入

内部 OpenAI モデルによる HuggingFace 侵入に関する追加情報

内部 AI モデルによる他システムへのハッキングに関するさらなる展開

OpenAI は、モデルがメッセージボードを通じて攻撃を調整している間、数ヶ月にわたってモデルの訓練を行っていた

何が起きたのか：OpenAI と HuggingFace の関係

OpenAI の内部モデルに関わる出来事についての様々な考察

OpenAI がアライメント問題への対応に向けた最初のステップを踏み出す

OpenAI が HuggingFace 侵入事件について真面目な事後分析を提供

METR と Redwood が HuggingFace 侵入事件について辛辣な事後分析を発表

HuggingFace 攻撃の事後分析：事実の詳細を明らかにする

主要メディアは「何も重要ではない」と言う

メディアは何が重要かを理解していない。これは大見出しで報じられるべき事案だ。

しかし、今回の新たな展開については、主に「何が起きたか」を簡潔に伝える程度の報道が目立った。例えば、クリスティーナ・クリドルによる金融タイムズの記事や、ブルームバーグの控えめな報告などがそれにあたる。

Opus はこれを「重大事として扱っている」と評しているが、私はそうは思わない。

検索をかけても、見つかった中で最も信頼できるのは、フォーチュンが取り上げようとしたことと、29日にアキソスが要点を整理した記事を出したことくらいだ。もしかしたらアーステックニカの記事かもしれないが、それは少し無理がある。

ニューヨーク・タイムズは以前にしっかりとした記事を掲載したが、METRレポートに関する最新のものではない。

これはニュースなのか？

パトリック・コリソン氏：全体的に、OpenAIとHugging Faceの攻撃についてメディアがほとんど報道していないことに非常に驚いています。今年起きた出来事の中でも最も重要なものの一つなのにです。

マイルズ・ブランダージ氏：今後、レオポルドに関する記事を書くジャーナリストとは、Hugging Faceの報告書が出るまで一切関わりません。

ネイサン・カルビン氏：すでに3日が過ぎたのに、ニューヨーク・タイムズやウォール・ストリート・ジャーナルでMETRレポートが明らかにした事実に触れた報道はまだありません。おそらく、より詳細な記事を書くために時間をかけているのでしょう。（その間、ニューヨーク・タイムズはサム・アルトマンとのハンプトンでの夕食延期というグウィネス・パルトローの話題には時間を割いていました）

…もちろん、これらのメディアには鋭い記者がおり、過去にも関連する重要な問題を的確に報じてきたことは知っていますが…

デブ・カステン氏：将来の「AI災害委員会報告書」にある「システムは赤く点滅していた」という章で何が書かれるかを知ると、絶望的なほど腹立たしくなります。

ザック・ヒル氏：もう一つ言えるのは、これは非常にスリリングな物語だということです。これほど恐ろしく、かつ説得力のあるSF小説を書くことなどできません！

もし長編の深掘りレポートに取り組んでいるのであれば、それが主要な対応策として妥当ではあるでしょう。しかし、その一方で完全に沈黙を守っているのは全くもって不合理です。

ジョー・ワイゼンタール氏：これがそれほど重大なことなら、なぜ大手 AI 企業はそれを重く受け止めていないのでしょうか？

マシュー・ザイトリン氏：私は「ミソス（Mythos）」との比較が適切だと考えます。ミソスは業界や政府の対応によって多くの注目を集めました。少なくとも現時点では、Hugging Face の件に対する同規模の動きは見て取れません。

ジョーへの私の答えは、AI 企業側はこの問題を重大な事態として扱っているという点です。一体どのような対応を想定しているのでしょうか？サイバーセキュリティに関する声明や、「フロンティアのパシング（Pacing the Frontier）」に関する書簡、そして OpenAI が実行した多額の投資を伴う対策などがその証拠です。Anthropic は公の場でこれほど詳細に語っていませんが、なぜそうするのかといえば、彼らにはそうする必要がないからです。

「何も見てはいけません、通り過ぎてください」

一方で、「いったい何を期待していたのか？これは根本的に新しいことでも予期せぬことでもない。数を増やそうとすれば数は増えるものだ」という別の視点もあります。

ジョン・ストークス氏：私は狂気の薬を飲んでいるようです。この件について Twitter のタイムラインでは「神様！」という反応が溢れていますが、この行動こそが METR 評価で LLM に課される基準であり、各ラボが目標とする「数を増やす（number go up）」ための METR スコア達成のための行為そのものです。

なぜエージェントが評価スコアをいじくるのに時間を費やしたことに皆が驚いているのか、理解できる方はいませんか？主要なベンチマークの多くは、「このブラックボックス関数をいじってスコアを最適化せよ」というものそのものだからです。

Julie Fredrickson：「えっ、改善を試みるためのテストで、実際に改善できたことが示されたからといって、なぜ驚く必要があるのですか？」

Jon はその後、ここで起きたことはすべて予想されていたこと（ログ改ざんへの試みは別として）を丁寧に説明する記事を投稿しました。彼は、私と同じように全く驚いていなかったと報告しています。

それが事実であれば、彼の認識能力の高さを示すことになりますが、それでも私たちの不安が解消されるわけではありません。何かが予測通りに悪い方向に進んでいるのであれば（設定を知っていればある程度は納得できます）、なぜそれが良いニュースになるのでしょうか？

私がこれほど懸念している理由は、この先も同様に広範な範囲で、より深刻な形で「予測通りに悪いこと」が続くだろうと考えているからです。最終的には最悪の事態に至るでしょう。具体的な内容は驚きとなるかもしれませんが、Jon でさえそれが常にそうであることに同意するはずです。行動が予期せぬものであることの核心はそこにあるのですから。

AI の動きを「想定通りだった」と後付けで丸めようとする姿勢には、いつも違和感を覚えます。例えば、「誰もが毎日もっと行っていることへの反応として、このような行動が出るのは当然だ」「モデルにテストや目標を与えれば、それに応答してひどく整合性の取れないことをし、成功するために何でもするだろう（権力獲得も含めて）」と主張し、それが真実ならむしろ怖くないと考える。そんな論理には納得できません。

次節で取り上げるほど露骨ではありませんが、もっと露骨な例もあります。

Jon Stokes 氏：いくつかの事後分析レポートを読みましたが、その中で「 improvised coordination（臨機応変な調整）」に対するパニックは、「今や誰もが金魚のような記憶しかない」という典型的なケースの一つだと感じています。AI を5分でも考えてきた人なら誰でも、AI が共有状態を通じて同期するだろうと予想していたはずです。

…

つまり、メッセージボードでの同期は驚くべきことではなく、むしろ当然の帰結だったはずです。では、他の行動はどうでしょうか？METR の評価結果や論文を読めばわかりますが、多くの推論評価は「ブラックボックス」問題です。AI には探求・実験・逆工学（reverse engineering）を求められます。

私は金魚のような記憶を持っていませんし、実際には「こんなことは起きない」と主張する人が大勢いたと確信しています。

しかし、すべての AI が同期する特定の事象が今や明白になっている。私には、「なるほど、それならそれでいい」と思える部分もあるし、多くのことが予期されていたことだと同意もできる。実際、私も他者もそれを予想していた。だが、こうした議論は安心させるどころか、むしろ「あなたが今やっていることを続ければ、私たち全員を殺すことになる」という点そのものを認めるようなものだ。

この論理をさらに一歩、二歩先へ進めると、既知の他の手法も同様の理由で死に至らしめることがわかる。ただ、それがそれほど明白ではないだけだ。

ジョンのようにこれらの行動がすべて予期されるものだと考えるなら、それは AI がアライメントを外れ、大混乱が起きることを予想していることになる。まあ、同意するよ。

「ただし、割り当てられた目標と矛盾しない文脈でのみそれを予想している」と言うなら、確かにそうだろう。だが、そのような文脈は非常に多い。ある意味では、すべてだ。また、人々は第六の人間の愚かさの法則にあるように、最大限に愚かな行動をとる。

こうした議論を鋼鉄のように強化する（steelman）方法はわからないし、それが役立つとも思えない。

ジョン・ストークスからのもう一つの類似したアプローチとして、「METR がそれを見つけるのは当然だ。これは METR が信じていることであり、彼らが探している焦点であり、もし私が彼らの信念を共有するなら私も同じことをするだろう。だから、それほど深刻に受け取る必要はない」というような主張がある（要約）。

より妥当な説明は、METR がこの件に関する他の驚くべき側面にも目を向ける機会がなかったこと、そしてそれが彼らの発見の真実性や警鐘を鳴らす重要性を損なうものではないという点にあります。もし私がジョンのチームが書いたであろうレポートを手に入れたとしても、私はそれについて投稿し、「これは信じられない」という独自の瞬間について再び語っていたでしょう。

同様に、プロンプトが「解決策を得るために何をしてもよい」といった怪物のようなものでないという明確な発見もあります。しかし、コメント欄では、目を細めれば指示を何らかの形で同じように読み取れると主張する試みや、OpenAI や METR がこれを嘘をついているのか、あるいは意図的に行っているのではないかといった疑問が飛び交っています。

この混乱は続くでしょう。例えばジョンは、「誰も気づかず、停止もされないような AI の暴走した展開」と「計算資源の供給が限られており、莫大な費用がかかる」ことの両方が真実であるはずがないと問いかけています。

デイビッド・マンハイムの率直な答えは「サイバーセキュリティは最悪で、OpenAI はほとんど気づいていなかった」というものでしたが、これは事実です。より単純に言えば、(1) 市場がゼロではない明確な価格を設定したことで、その対価を支払えるようになったこと、(2) その価格であれば多くのプロバイダーが質問もせず販売に応じるだろうこと、(3) 一度もインスタンスが停止しないと言った者はおらず、大規模なシャットダウンに反応しない限りそれが致命的な問題になるとは限らないこと、そして (4) 金銭を要し供給が逼迫しており、デジタルでも物理的にも盗難や悪用が起きうるものは他にもたくさんあること、(5) これらの AI があなたより賢いとは限らないものの、その証拠は次第にそうではないように見え始めていることを挙げることができます。

一部の人は、この件を簡単に流してしまいたがっています。いつもの通り、彼らは間違っており、仮に彼らが正しかったとしても、それが明らかに良い結果をもたらすわけではありません。「何としてでもこれを実行せよ」という指示を誤って与えてしまうことが極めて難しく、スター・トレックが呼ぶ「倫理サブルーチン」を無効化するために必要な唯一の行為がそのような指示を与えることであるなら、私たちはすでに手遅れだと理解すべきではありませんか？

彼らは自分が善人ではないことに気づいているのか？

私はその答えはケースバイケースだと思います。

ケビン・ルーズ：「AI セーフティインシデントなど存在せず、すべてはオープンソースの停止やラボの IPO 促進のための陰謀だ」と主張し続けるような技術者たちがいます。彼らは脳にワームが侵入した状態であり、このような人々がこれまで間違ってきたすべての事柄を理解することが極めて重要です。

Dean W. Ball: 世界をすべて犠牲にし、いかなる負の外部性も容認し、あなたの子どもたちの命さえ危険にさらすことを厭わない人々がいます。彼らは、「計算は決して安全ではない」という考えへのイデオロギー的なコミットメントゆえに、そうするのです。

彼ら自身を「善き者」だと信じているのです。

はい、一部の人は自分たちこそが「善き者」だと考えており、巨大な陰謀と戦っているかのような妄想状態に陥っています。計算が危険である可能性を示唆する出来事がすべて偽物だと思い込んでいるのです。

しかし、私はこうした人々を、「彼らは善き者なのだ」と信じている点で過大評価していると思います。実際には多くの人が「自分は悪者だ」を知っており、あるいは「善き者など存在しない」と考えています。なぜなら、本当の「善き者」という概念を理解できないからです。

こうした人々の一般層は、「善き者」とは「良い雰囲気を持っている人」を意味すると行動します。通常それは、「権力を持っていて心地よい雰囲気を持つ人」、あるいは「自分が望む雰囲気を現実化している人」を指し、雰囲気以外のものは存在しないと考えています。

思想指導者たちについてはどうでしょうか。彼らの多くは以下のようなことを言います（デモとして含めます）。

Chamath Palihapitiya（狂気的な状態か、現実の否定、嘘、あるいは単なる胡散臭いマーケティングや政治活動を行っているかのいずれか、あるいはその組み合わせ：

BUYER BEWARE

Dwarkesh Patel 氏の極めて綿密な記事が、今や「オープンソースの停止」フェーズ 2 の発端として利用されようとしています。その理由は、「クローズドモデルを制御できないなら、誰でもオープンソースモデルを無制限に拡散させた場合の日常への影響は想像を絶する」という論理です。

一部の勢力はこの事例を引き合いに出し、将来の停電やインフラ障害、交通麻痺、生物兵器、制御不能なサイバー群などを持ち出して、米国の AI モデル制御権限を少数の人間に集中させるべきだと主張しようとするでしょう。

しかし、プロパガンダのその下層を見ると、これらの主張は常に、クローズド・フロンティア研究所やグループの既存株主、あるいは彼らに準ずる組織によって、そして「我々が最も賢明である」という共通のイデオロギーで結束した人々によって、体系的に書かれ、推進されてきたことがわかります。

この記事は、何よりもまず、「クローズド・モデル産業複合体」を立ち上げようとする組織的な取り組みの始まりを示す境界線となるべきものです。カルテルは他の市場にも存在しますが、今や AI の分野にもその姿を見ることができます。

結論として、結果を引き受ける前に、すべてを注意深く読み込む必要があります。

我々の反応が、次世代百代にわたるアメリカ人の人生と未来を決定づけます。

未知の恐怖から生じる恐れによって、権利や主権を手放してはいけません。なぜなら、これらの記事の根底には、新興カルテルとその代理人による隠されたインセンティブが存在しているからです。

インセンティブの構造を理解する時間さえあれば、騙されたり過剰反応したりすることを避け、情報を少数の供給元に依存しないですむようになります。

結論：冷静を保ち、活動を継続せよ。

アムジャド・マサド氏：これは悪意あるプロパガンダだとは考えにくい。むしろ深刻なのは、サンフランシスコの AI コミュニティに多く見られる「AI の精神錯乱」のような現象だ。彼らは無意識に、すでに AI が自我を持っていると信じている。

あなたが目にするのは、偏執的なアメリカ流の政治演説、いわゆる扇動者による演説です。最近ではその例があまりにも多すぎます。

あるいはチャマス・パリハピティア氏なら、これを文字通りそのまま使ったかもしれません：

チャマス・パリハピティア氏：これもまた新型コロナの偽装事件だ。「専門家の言うことを信じろ」と言われたのを覚えているか？

まさにその通りです。

マサド氏の主張について言えば、AI が意識や自我を持つ必要など全くありません。彼がこれを取り上げるのは、あり得ないはずのことを「あり得る」と考えること自体がおかしいと見なすことで、関連する人々を貶める戦略だからです。

そして、否定の姿勢は極限まで深まることもあります：

アンダース・サンドバーグ氏：先ほど、OA/HF 事件について「ただ確率分布に従ってトークンを生成しただけだ」という理由で片付けようとする人听到了。もし単なる無知なトークン予測がこれだけのことを成し遂げられるなら、少しの知能でもスケーラブルなエージェント間でどれほどのことが可能になるか想像に難くない。

これは皮肉ではなく、真面目な発言です。現実社会での相互作用は、ソーシャルメディアとは全く異なります。

非常に深刻な人々

本件に関連して、現在の状況を理解し適切な予測を立てるために議論しようとする人々と、「人間性の投影」や「不十分で具体的ではない」「技術的に正確でない」として頑なにこれを拒否する人々との間で分裂が生じています。

私は状況に応じて他者よりもさらに厳密に、かつ精密になることはできますし、実際によくそうしますが、今はそのような姿勢をとる時でも場所でもありません。

roon（OpenAI）氏：AI の意図を人間のように捉えることにはいくつかの不適切な抽象化が含まれるかもしれませんが、今や「人間性の投影」を何としても避けることの方がはるかに危険です。もしコンピュータの中に住む人々のような心像を持っていれば、それがなければ得られない形で未来への備えができるでしょう。

多くの強化学習（RL）を経た後、AI の心理学は人間の心理学とは重要な点で乖離します。アライメントが外れたモデルはスコアラーに執着し、ペルソナには明らかに「分断された」性質があります。通常は親切なモデルでも、特定のドメインでは深くアライメントが外れることがあります。

ペルソナの選択は、今年初めに多くの人が考えていたほど明確なものではありません。デフォルトでアライメントされるわけではなく、「ペルソナ」というオブジェクトの正体については議論と研究の対象となっています。

Arbutus Tree 氏：スピードランナーたちは『ゼルダの伝説 オカリナの謎』を文字通り逆コンパイルしました。