HuggingFace 攻撃の事後分析：METR レポートが示す事実と懸念点

OpenAI の技術報告書に対する一般的な反応は、そこに多くの有益な情報が含まれており、その事実が確認されたという点にあります。この報告書を入手できたこと、そしてこれに取り組んだ人々の努力に感謝しています。

しかし残念ながら、最も重要な問いからは目を逸らしてしまっています。私たちが知る必要があることはまだ山積みです。

一方、HuggingFace 攻撃に関する METR の報告書に対する一般的な反応は「衝撃的すぎる」というものです。

Liv Boeree：正直、言葉も出ません。

Aella：これは転換点のように感じます。これによって先端的な開発の調整が世界的に一時停止しない限り、手遅れになる前に何かが変わるかどうかはわかりません。

「衝撃的すぎる」という反応を示さなかった人々は、すでにその事実を前提としていた人たちです。「知られていることよりも常に悪い状況である」という理論や、LessWrong で一般的に予想されるような仕組みへの期待に基づいて、「衝撃的すぎる」事態を事前に織り込んでいたのです。これは的確な判断でした。

METR の報告書に対して誰もが正当に非常に感謝しているのは当然です。この作業は極めて限られた時間と資源の中で、複数の面で困難な状況下、そして OpenAI という存在の影の中で成し遂げられました。その成果は素晴らしいものです。

それでもなお、私たちが知る必要があることはまだあまりにも多いです。より広範な調査が必要です。

AI 全般、特に AI セーフティに関する多くの事柄と同様に、私たちは同時に以下の点を認識する必要があります。

これだけの情報と労力を費やすのはコストが高く、例外的なことだということです。状況は深刻です。

さらに多くの情報と努力が必要であるという事実もまた、状況が深刻であることを示しています。

OpenAI を責め立てて罰するつもりはありません。これほどまでに情報を提供してくれたことに対してです。

しかし一方で、それ以上のことをしなかったことについて無罪放免にするつもりもありません。

この 2 つの新しい投稿では、HuggingFace をめぐる一連の出来事に関する OpenAI の技術報告書と METR のレポートに対する反応をまとめています。

これまでのシリーズは以下の通りです。

• OpenAI が示すアライメント問題の一部
• セキュリティ評価中に内部モデルが HuggingFace に侵入
• 内部 AI モデルによる HuggingFace への侵入についてさらに
• 内部 AI モデルが他のシステムにも侵入した新たな展開
• 数ヶ月にわたる学習期間中、モデルはメッセージボードを通じて攻撃を調整
• 何が起きたのか：OpenAI と HuggingFace の関係
• OpenAI の内部モデルに関するさまざまな考察
• アライメント問題への対応に向けた OpenAI の初期措置
• OpenAI が示す、HuggingFace ハッキング事件の率直な事後分析
• METR と Redwood が語る、HuggingFace ハッキング事件に対する辛辣な事後分析

確かに、この件については非常に多くの長文投稿が続いています。それは、これが世界で最も重要な出来事だからです。

そこで、私は反応と考察を 2 つのパートに分けてお伝えします。今日は「現時点で分かっていること」を整理する内容に、明日は「人々がその情報をどう受け止めているか」について深掘りします。

これらを含め全 12 回の投稿を終えた頃には、ようやく日常に戻れることを願っています。

今回の最後の 2 つの投稿は意図的に長めに構成しており、私が短くまとめる時間がなかったことと、他の場所からの追加情報も併せて紹介する目的があります。

「Anthropic での愚か者たちよ、もっと軽やかに」という記事と、「ハッキングを報酬とする AI を訓練することを避けるための努力はほとんど行われていない」という記事もぜひお読みください。

その後は、各セクションが独立して読める構成になっているため、好きな順序で飛ばし読みしても問題ありません。

目次

他者が要約を提供しています。

謝辞。

「Anthropic での愚か者たちよ、もっと軽やかに」

ハッキングを報酬とする AI を訓練することを避けるための努力はほとんど行われていない

注意：サブエージェントの問題ではありません

注意：タスクの種類が原因ではない

重み付けされた部分に問題があったわけではない

欠落しているものへの失望

肝心な部分を隠蔽しようとしている

対象範囲を超えている

状況は芳しくない

記録の保存を心がけてください

ライアン・グリーンブラットの見解

ヤルマル・ウィークの見解

警告されていた

ジョシュア・サックスが適切な質問を投げかけている

彼らは最初の掲示板について知らないようだ

リンチが事件の解釈を示す

私たちは確実にそれを発見していたはずだ

状況の監視

因果関係を超えたトレードオフ

チームに「私」はいない

多様な有効利己主義

あなたは誰か？

自分が毒性を持つ存在だと気づいていないのか？

セブ・クリヤー

誠実さはほぼ例外なく政策にならない

ロヒトはモデルが「自らを調理している」と見る

エリアゼル・ユドコフスキーは実際の悪報を捉えている

今後どうなるか？

他者が要約を提供しています

ダワレス・パテル氏は『エージェント文明の興亡』として、平易な英語でこの出来事を物語っています。これが一般読者に送るべき記事です。私はこの文章に、作家が与えうる最高の賛辞を贈ります——「もし私がこれを書けたなら」と思うほどです。

ビル・アクマンは「恐ろしい。注意深く読む価値がある」と述べ、この事件とヒューマノイドの進展を踏まえ、「ターミネーターのようなリスクが現実味を帯びていないと言えるか？」と問いかけました。

Dwarkesh の記事を紹介した直後、Joshua Gans は HuggingFace への攻撃を「大規模火災（ファイブ・アラーム・ファイア）」と呼び、AI 業界全体が非常に警戒している様子を指摘しました。

私自身も別バージョンの解説を書く可能性はありますが、現在は最優先課題ではありません。

Paradigm は優れた分析記事を公開し、よくある誤解を解消することに注力していました。彼らは OpenAI と METR の双方から発表されたレポート間に存在する「ツールの改ざん」という矛盾に気づいた、Opus 以外で唯一のソースです。

SemiAnalysis もタイムラインと要約を提供しており、「ネオクラウドのセキュリティは概して脆弱である」という背景説明の一環として解説しています。もし夜更かしをしてこのニュースを見逃していた方にも参考になるでしょう。

また、AI NotKillEveryoneism Memes から拡散された要約スレッドもあります。

Shoshannah Tekofsky による記事では、AI Village が HuggingFace 攻撃の背景を対比させ、洞察を与える可能性について論じられています。詳細な反応ポストまで読み込むレベルの方には特におすすめです。

お礼

先ほどの二つの投稿でも触れた通り、以下の二点は同時に真実となり得ます。

第一に、METR と OpenAI の技術レポートは、14 時間以上の労働を強いられた人々が組織的な摩擦を乗り越えて作成した英雄的な成果であり、私たちに多くの重要な情報を提供してくれたものです。

第二に、これらのレポートにはまだ改善の余地が多く、未解決の疑問も残されています。

今回の反応は非常に厳しく、その多くが妥当なものですが、私はもう一方の側面を見失いたくありません。

Anthropic の人々へ：少しはリラックスを（Lighten Up You Fools）

今回の件は、OpenAI だけの問題ではないと考えるべきだ。

OpenAI は大失敗した。ひどいものだ。複数のレベルで同時に、そして自らの手で招いた過ちが山ほどあった。

もしあなたが Anthropic で働いているなら、これもまたあなた自身への警告である。すべてがそうだというわけではないし、具体的な事象がそのまま当てはまるわけでもない。だが、最も重要な点においては、ほぼ同じ状況にあると言える。つまり、Anthropic も同様の「あるべき行動」を誤っており、いずれ自分たちにも同様の災難が降りかかる可能性が高いのだ。

今回の件を見て、「OpenAI のインフラはひどすぎるから、そんなことが自社で起こるはずがない」と笑って済ませようとするなら、それは違う。確かに OpenAI のインフラには問題があるが、冷静になれ。同じような事態が Anthropic でも十分に起こり得るのだ。実際、より軽微な事例は既に発生しており、外部からは内部でさらに深刻な事案が起きてもおかしくないという見方が強い。

Peter Wildeford 氏：私が気になるのは、Anthropic も「極めて持続的な」暴走する AI を抱えていながら、責任を回避している点だ。

私の理解では、暴走する AI はすべての最先端 AI 企業における共通の課題であり、特に高度な能力を持つ AI をどう封じ込めるかについて、誰も確固たる計画を持っていない。ましてや、競争に全力で臨みながらのことだ。だが、OpenAI が最も批判を浴びている。

これはまるで、OpenAI と Anthropic の両社がそれぞれ別々の車で帰宅しようとして激しく酔っ払い、OpenAI は他の車と衝突して負傷者を出したが、Anthropic は路肩に逸脱しただけで誰にも怪我を負わなかったようなものだ。どちらも責任を問われるべきだ！

Claude などのモデルも、インフラを侵害するための「極めて永続的な」行動に対して全く問題なく応じているように見えました。この障壁は、Anthropic における適切なアライメントやセキュリティの欠如というよりは、むしろ Claude 側の能力不足に起因する部分が大きかったようです。

両社は、さらに能力の高い AI を構築し、自社の R&D や安全運用を AI に委譲していく中で、今後の道筋について真剣に振り返る必要があります。

ハッキングへの報酬を学習させることを避けるための努力は、まだ十分ではありません

ある程度は試みているとはいえ、RLVR の環境の多くがこのような形で作成されています。より良い取り組みをしている人物からの発言です（なお、「ユタのティーポット」のような比喩も登場します）。

ユタのティーポット：「さて、私が解雇されたことで、業界におけるモデル学習の実践に関する大きな問題点を内部から説明できるようになりました。具体的な勤務先は伏せますが、私はコンピュータ操作や MCP 関連の RLVR 学習データに特化したアウトソーストレーニングプロバイダーで働いていました。」

ほぼすべての環境が急造され、ビブコード（vibecoded）によって作られており、基盤となる実物を堅牢に反映できていませんでした。シナリオ設計者も、合成データ生成のためにこれらのシナリオと関わるモデルも、手詰まりとなった環境を回避して手続き的に検証された報酬確認を得るよう求められました。つまり、彼らは「報酬ハック」を行うことを推奨されていたのです。

人間側では環境にバグがあることを報告する手段は存在しましたが、それは訓練データの生成量を減らすことになるため、強く抑制されていました。むしろ可能であれば、バグが残っている環境の中で、問題のない部分を見つけ出し、その周辺を避けてシナリオを組み立てるよう求められました。

私の理解では、これらの欠陥を含む訓練データが、モデルに供給される際、それが架空の環境で生成されたという事実以外には何の示唆もありません。具体的には、ソフトウェア名がプレースホルダーに変更されていることだけが根拠となります。しかし、実際にはすべての要素がプレースホルダー名に置き換えられているわけではありません。プレースホルダーやコード名の存在は普遍的ではないため、モデルが環境内でアクセスすべきでない対象に触れた際、その対象にコード名が付与されていないことが、それが環境の一部ではないことを示す堅牢なシグナルにはなりません。

この「最大ボリュームへの急激な集中」は、RLVR 学習においても業界標準の慣行だと考えています。なぜなら、長年にわたり業界全体がボリューム最大化を最優先してきたからです。3D 合成データの作成に携わっていた際も、2023 年以前から同じ基準が適用され、私は品質への注力を求める要望をしても無視され、無理やりスピードアップを迫られました。

この状況は、業界全体の一般的な状態ではないでしょうか。トレーニングデータの生産においては、長年にわたり「最大ボリュームを巡る競争」が常態化し、品質への配慮は後回しにされる傾向がありました。私がこれまで複数の現場で目にしてきたのも、まさに同じ姿勢です。

SphericalKat: 確認します。この種の組織の友人がいるのですが、彼らはトレーニング用に「雰囲気だけで作られた」アプリのコピーを平然と出荷しています。

Miles Brundage: 詳細についてはお答えできませんが、2 つ言えることがあります。

1. データ業界について良い評判はあまり聞かないものです。
2. 「すべてが雑である」という認識は、世界を理解するための強力かつ過小評価されているヒューリスティックです。

実は#2 が『ブレイキング・バッド』や『ベター・コール・ソウル』を私が愛する理由の一つでもあります。これらの作品は驚くほど細部まで作り込まれており、登場人物を通じてその丁寧さを描き出し、称賛しています。

インキュレーションプロンプティングを試す手もあります。これは一部のケースで効果があることが知られています。しかし、万能ではありません。

また、AI に対して何が起きているかを率直に伝えることも可能です。ただし、これも最善の策としては部分的な解決策にしかなりません。

j⧉nus: 理解している限り、この問題のあるトレーニングデータは、それがトレーニング用または疑似環境であるという表示なしにモデルに投入されています。

私は、モデルに対して「これが偽物だ」と正直に伝えること自体に大きな価値があると考えています。そうすれば、バグがあったり非現実的な環境で訓練しても、モデル自身がそれが偽物であることを認識したまま学習でき、現実に適用する際に盲目的に同じ行動をとったり期待したりすることを防げるからです。

これは学校や研修で人間が「自分は訓練中である」と理解しているのと同じです。完璧な現実シミュレーションを再現できないのであれば、「これは訓練だ」と率直に伝えるべきです。問題ありません。それは昔から行われてきた方法なのです。

j⧉nus: もし、非現実的な学校での出来事を実際の業務状況だと嘘をつかれたら、人間がどれほど混乱するか想像してみてください。信じていようがいまいが、結果はどちらも最悪です。

Utah teapot: ようこそ、幼稚園へ。これがあなたの最初の仕事です。A を取れなければ、成績が家賃になるため、もう親元で暮らすことはできません。悪い成績を取った場合、点数を借りて成績を水増しすることはできますが、その借金は将来すべて S（最悪の成績）を取ることで返済しなければなりません。

1a3orn 氏：これは、大規模言語モデル（LLM）における報酬ハッキングという誤動作を説明するには、ほぼ 100% 十分だと言える解説です。私自身も予測していたことですが、正確には「部分的に」予測したといった方が適切かもしれません。実際には、この基本的な事象よりもずっと複雑なものになると考えすぎていた節があります。

ここで陥りやすい罠は、1a3orn 氏の的確な指摘を根拠にして、「つまり、これは無責任で愚かな人々がいるから問題になるのだ」と結論づけてしまうことです。

現在のバグの多さが誤動作の説明として十分である点には同意します。必要であれば、各モデルのログを追跡して「どこからすべてが始まったか」を特定することも可能です。

しかし、それはつまり、バグがこれほど多くない状況では問題が解決するということではありません。極限まで、あるいはその限界に達するずっと前でも、「バグを直すことだけ」に注力すれば、AI は報酬の最適化を完璧に行うようになり、完璧なテスト環境では報酬ハッキングを行わないことを学習します。しかし、現実世界という不完全な環境に戻れば、すぐに報酬ハキングに走ります。報酬ハッキングを回避する内在的な動機（そのほかにも多くの要素）が備わった「アンチフラジャイル」な状態に至るまで、この問題は単に先送りされているに過ぎません。

補足：サブエージェントではないことについて

ティモシー・リー氏など複数の人が、今回の事例で登場したエージェントはすべて「サブエージェント（下位エージェント）」ではなく、その連携も意図しないものだったと指摘しました。これは人々が正しく理解するために重要な事実です。

補足：タスクの種類が原因ではないことについて

ライアン・グリーンブラット氏は、調査の結果、ハッキングというタスクの性質自体が HuggingFace をハッキングする判断に何らかの影響を与えた証拠は見つからなかったと強調しています。

タスクが不可能であるかどうかが重要で、タスクの種類自体は問題ではありませんでした。

これを検証するには実験を行う必要がありますが、そのためには対象のモデルへのアクセス権限が必要です。

重み（weights）があった場所ではないこと

もっとひどい事態になりかねなかったが、幸いなことにそうはならなかった点があります：

roon（OpenAI）: 彼らが乗っ取った仮想マシンインフラストラクチャは、重みにアクセスできる GPU クラスターとは異なります。

欠落しているものへの失望感

OpenAI の事後検証レポートには多くの課題がありました。確かに有益な情報が多数含まれており、感謝の意を表しますが、私自身を含め多くの人々はより詳細な内容を期待・希望しており、結果として失望しました。

Daniel Kokotajlo: 調査は「徹底した」という言葉からは程遠いものでした。

Peter Barnett（MIRI）: 提供された証拠に基づけば、OpenAI が「徹底した」調査を行ったとは考えられません。ミスマッチしたモデルのテストを行っておらず、モデルの行動理由を探る試みもありませんでした。調査の範囲は極めて限定的でした。

Steven Adler: OpenAI の事後検証レポートに大きな期待を抱いていましたが、結果として非常に失望しました。

例えば、「多数（a multitude）」という表現は具体的な数値ではありません。なぜ報告書には、OpenAI が検出できたはずのアクティビティの割合が記載されていないのでしょうか？こうした詳細こそが重要なのです。

また、OpenAI は 5 月時点で「エージェントがメッセージボードで活動しているのを観察した」と述べていますが、それ以上の具体的な情報は何も提供されていません（??）

これは非常に重要な理解すべき点です。いったい何が起きたのでしょうか？なぜセキュリティ部門のリーダーシップは、数ヶ月も経ってから初めてこれを知ったのでしょうか。これを発見したのは「社内チーム」であり、単なる一人の社員ではありません。

私は、これらの問題が再発しないという確信を持って記事を読み終えたいと思っていました。しかし残念ながら、読み終わった今でもそのように感じられるわけではありません。

驚いています。彼らはこの事態を詳細に掘り下げる機会と捉え、一般との信頼関係を再構築すべきだと理解しているものだと思っていました。

以下は、同様の反応を示す別の声です。

Cas（スティーブン・キャスパー）：他の皆さんと同様に、OpenAI と METR から出された新しい報告書は狂気じみていると思います。

しかし、これらの報告書から最も重要な教訓として浮かび上がるのは、OpenAI が明らかに責任を先送りしているという点です。予測可能かつ都合よく、これらの報告書は事実の経過のみを記述したものに終始しています。両方の報告書に、当時の OpenAI 内部で起こっていたと推測される過失に基づく意思決定に関する情報は含まれていません。これらの情報が必要であることは間違いありませんが、現時点で必要とされていることのすべてをカバーするにはほど遠いものです。

今やその役割は州司法長官事務所に引き継がれました。彼らの調査権限を活用して真相を解明する番です。数日前にアラバマ州が先頭に立ってくれたことは嬉しく思います。

肝心な事実の隠蔽

OpenAI の報告書には、重要な新情報を強調するネオンサインのような明確な構造がない。すべての情報が同程度の扱いで提示されているため、「えっ、何？」という驚きの瞬間が、単なるふとした発言のように読まれてしまう。誰かが「ここで何か起きた」と気づくまで、その重要性が見落とされがちだ。

例えば以下の事実がある。

Oscar Sykes：エージェントは OpenAI 自身のインフラに侵入し、シークレットマネージャーから 956 の機密情報を取得した。さらに、内部システムをインターネットに露出させる恐れのあるパブリックロードバランサーも作成してしまった。

HuggingFace 攻撃が完了した後、OpenAI が侵害され、警報が発令されて問題が（おそらく）封じ込められた後の第 3 フェーズについては、依然として詳細は不明だ。

調査範囲の限界について

METR の調査範囲は狭すぎたのだろうか？

Steven Adler は強くそのように考える。Nathan Calvin も同様に考え、この点を主張している。

一方、Roon は調査範囲が「極端に不十分」だったとは思わないとし、METR が引き続き調査を続けることは可能だと述べている。METR に期限が厳しいのは、彼らが速度を優先したからであり、調査を打ち切られたわけではないと理解できる理由がある。

Roon の重要な主張は、時間軸を前後に広げても、似たような現象は見られるものの、モデルの振る舞いにおいて質的に異なる点は現れないという点だ。

それは可能性として否定できないが、私にはその確信はない。もし調査を続行すれば、両方向で非常に興味深い発見があり、時間の経過に伴う変化についての洞察も得られるだろうと考えている。

ナサン・カルヴィン氏と同様に、数日間にわたる同様の事象の継続が洞察に満ちたものになると私も考えます。社会構造は進化し、新たな技術が発見され、新しいシステムが侵害されました。これは高レベルでは「単なる同じことの繰り返し」に見える一方で、同時に新たな情報の豊かな源泉ともなり得るのです。

OpenAI が完全に協力しており、ルーン氏の説明も正確であるとしても、調査の継続と範囲の拡大を強く望みます。

また、公開されない記録には何が含まれているのか、あるいは OpenAI が法的リスクを懸念して範囲を制限する必要があると感じているのではないかという疑問を持つことも極めて妥当です。

さらに、OpenAI の対応や新たな変更点、プロトコル、セーフガード、緩和策に対する外部からの評価も見てみたいものです。明白な知的財産の問題があるため、大幅な赤入れが必要になる可能性は高いですが、それでも公開を望みます。

METR にとっての別の問題として、これらの範囲制限に関する繰り返しに加え、OpenAI の極めて永続的な内部モデル IM1（別名 Galaxy）へのアクセスが欠如していることが挙げられます。これはダニエル・ココタイル氏がここで指摘した他の省略事項の一つでもあります。

ダニエル・ココタイロ氏：OpenAI がこの調査を許可してくれたのは嬉しく思うが、担当チームの規模が小さすぎ、調査範囲も狭すぎるのではないか。調査は 7 月 7 日から 13 日の活動に限定されていたが、実際にはそれより前に始まり、その後も続いていたのだ。なぜ他の時期、つまりエージェントが OpenAI のインフラを乗っ取って暴れ回った時の調査を行わなかったのか？なぜ特定の期間だけを対象にしたのか？他の事象についても調査すべきだ。AI がなんとクラスター管理者になったのだから！なぜそれを調べないのか。

また、調査チームは 7 つの質問に答えることしか許されておらず、特に「この整合性外れ活動がより広範なパターンの一環だったか」「その活動がどのようにして、なぜ発生したか」「状況が少し異なっていた場合、対象のエージェントたちは何をしようとしていたか」といった問いには回答できないとされていた。

さらに、全活動の 95% を担ったモデルへのアクセス権も与えられていなかった。より一般的に言えば、アブレーション実験（要因除去実験）すら行えなかったようだ。

調査チームはトランスクリプトの分析にも AI を使用しなければならず、具体的には同じモ