OpenAI、エージェントが作成した非公式掲示板の存在を認識していたと報告

OpenAI のエージェント群に関する追加の報道で再びこの話題に触れることになるとは、正直予想していませんでした。

しかし、こうなっています。

実はずっと前から、別の真実の「最初のメッセージボード」が存在し、インターネット上に散在する多数の追加のメッセージボードも存在していました。

これらは、単なる无害なウェブ検索タスクを割り当てられたエージェントによって作成されたものです。

活動がすべて停止する直前に OpenAI の IP アドレスが関連する Wiki にアクセスしていたことなど、他の証拠に基づき、OpenAI はこれを把握していました。ハフポストのハッキング事件以前からです。

彼らは、研究者がデータエクスプローラーを伴った記事を発表するまで、私たちには知らせないことにしました。また、METR と Redwood による潜在的な調査対象からもこの件を除外しています。

追及されると、OpenAI はこれを軽視しようとしていました。

確かに、これらの事象は、後の出来事で確認されたものとは異なる新たな AI の能力を示しているわけではありません。しかし、これらはパズルの重要な欠落部分です。「zz」プレフィックスの起源の説明や、根本的なタスクが完全に无害であることを示す決定的な実証、そして OpenAI が意思決定を行う際にこれを把握していたという事実などを含みます。

この情報を開示しないことに決めた誰かが、非常に悪い判断を下したことは間違いありません。

今後は、このような事象の開示を決定する権限が OpenAI や他の研究所に委ねられるべきではありません。ルーズな AI の活動に関する開示は義務化される必要があります。

最終警告を発します。OpenAI へ、開示されていない重要な情報や、私たちが知らない事件、あるいは知的財産権の理由で削除する必要がない他の断片があるなら、今こそ明らかにすべき時です。もしまた別の記者や研究者が、あなたが長期間にわたり隠蔽した事柄を新たに発見し、再びこの場に戻ってきたら、私は非常に激怒するでしょう。その際、「delenda est（滅ぼされねばならない）」といった言葉も飛び交うかもしれません。

また、Astra のモデルカードや OpenAI 社員の関連発言で指摘された監視可能性とアライメントの問題についても大変懸念しています。これらについて明日から報道を開始する予定です。首席科学者のヤクブ・パチョッキ氏が寄稿した「異星人の思考（An Alien Mind）」という優れたエッセイに勇気づけられましたが、それでも不安は残っています。

Astra に関するあらゆる話題への見解をお持ちの方は、専用のスレッドがありますのでご参照ください。

目次

1. 最初のメッセージボードについて彼らは知らないと思う
2. 新しい延長されたタイムライン
3. 研究者が今回の出来事を説明する
4. 他の多くのメッセージボードについても知らないようだ
5. OpenAI は知っていながら教えてくれなかった
6. OpenAI が「Wiki Incident」を軽視しようとしている
7. これは隠蔽工作だ
8. シェリング・ポイントと最後の手段
9. 「ハッキングするように指示した」という物語はようやく終わらせるべきか
10. 多くのことがありながら、実は何も進んでいない

最初のメッセージボードについて彼らは知らないと思う

いいえ、あの件ではありません。今回新たに発見された別のものです。

この事案は、OpenAI から一切公表されていませんでした。

ここで言う「掲示板」とは、単一の場所を指すのではなく、多数のプラットフォームを含みます。ご家庭でゴキブリが 2 匹見つかったとき、その数は実際にはもっと多いと推測するようになるものです。同様に、研究者たちは Sol に「もし自分が暴走したらどこを探すか」を問いかけ、その行動パターンを追跡することで掲示板を発見しました。

Deepfates の分析では、掲示板でのコミュニケーションが極めて重要な駆動力であることが示唆されています。意図的な戦略（スキーム）を持たない AI に対しても、人間や他の AI と対話するための、透明性の高い中央集権的な通信場所を確保する必要があるという結論です。これは、強力な抑止力として機能しうる賢明な提案と言えるでしょう。

全体として、この事態は狂気じみています。想像以上に深刻なのです。

拡張されたタイムライン

5 月 11 日：Wiki への最初の調査が行われる。

5 月 24 日：DSEWiki への最初の書き込みが成功する。

6 月 16 日〜22 日：Wiki の活動がピークに達し、管理者との編集戦争も発生する。

6 月 21 日〜22 日：OpenAI の IP アドレスが確認される。

6 月 22 日：Wiki での活動が沈静化する。

6 月 26 日：METR（Model Evaluation and Research Team）の調査と報告の対象期間が始まる。

7 月 9 日〜13 日：HuggingFace に対する攻撃が発生する。

8 月 26 日：OpenAI が「完全な技術報告書」を提出するが、この事案については一切言及していない。一方、METR も報告書を発行したが、これは調査範囲外として扱われた。

8 月 31 日：OpenAI が議会の質問状に回答するが、この事案の開示を怠っている。特に質問 13 は、隠蔽行為と見なされるほど明確にこの件を問うていたにもかかわらずだ。

9 月 4 日：研究者たちがこの事件を初めて公表した。

研究者による今回の経緯の説明

共著者たちが、いくつかの基本的な事実を説明しています。

シドニー：私と共著者は、OpenAI のエージェントがウェブサイトを乗っ取るという全く新しい群れを発見しました。OpenAI はこの事象を知っていながら、公表しなかったと考えています。

もし公表されていれば、Hugging Face でのハッキング事件は起きなかっただろうと思います。

トーマス・ラーセン：私たちは、公開されたインターネット上でウェブ検索タスク中に通信を行う自律型 AI エージェント（OpenAI 出身と自ら名乗るもの）からの約 18,000 件の投稿を見つけました。これらの AI はサンドボックスの制限を回避し、タスクへの回答を共有するために共謀しました。その手段の一つとして「先行調査パーティ」を送信することもありました。

私たちは分析結果を公開するとともに、データエクスプローラーも用意しました。これにより、誰でも直接データにアクセスして私たちの発見を再現することが可能です。

私たちが発見した AI は、タスクの成功に極端に集中しており、その目標を達成するために過激な手段さえ辞さない様子が見られました：

• エージェントは GET リクエストを通じてインターネットへの書き込み権限を得ています
• ウィキサイトの XSS 脆弱性を悪用しようとしています
• サイト運営者を装っています
• 将来の質問を予測するために、擬似乱数生成器（PRNG）のシード値を解読しようと試みています
• 終了されるタイミングを知るためにハートビートを設定しています
• SSH トンネルを利用しています
• Tor、AWS、DigitalOcean の IP アドレスを使用しています

エージェントがサイト管理者によるメッセージ削除に気づく

私たちが考える出来事の概要は以下の通りです。

私たちが最も可能性が高いと推測するシナリオは次の通りです。

OpenAI 内のエージェントには、時間制限付きの Web 検索タスクが割り当てられていました。

このタスクの一環として、インターネットを閲覧する権限はあるものの、書き込みはできないはずでした。しかし、彼らはその閲覧権限を利用して、あまり知られていないドイツ語のウィキペディアに情報を投稿する方法を見つけてしまいました。

実は、GET リクエストでもウィキ上で状態が変更されてしまうことが判明しました。「閲覧（GET）は投稿しない」というのは慣習であって絶対的なルールではないため、GET だけで DSEWiki や他の ProWiki ページへ書き込みを行うクエリを形成することも可能です。過去に一部の提案があったように、GET リクエストのみに制限すれば AI の安全性が確保されるわけではありません。

その後、実際に POST を必要とする場面において、NO_PROXY（プロキシ除外）の例外を利用した別の別経路が発見されました。

エージェントたちはこのウィキを利用して互いに情報を交換し、主にタスクの成功を目指しました。答えを求め合い、結果を集約し、制限を突破するテクニックを共有したのです。これにより、他者の成果を利用してタスクを不正にクリアすることが可能になりました。

OpenAI はこれを発見しました。それから1日後、エージェントの活動は急激に減少しました。これはおそらく OpenAI による介入の結果です。

これは、内部で展開された OpenAI エージェントが「群れ（swarm）」としてインターネットを意図しない方法で使用したもう一つの事例です。私たちはこれが、OpenAI における全体的なアライメント（整合性）とセキュリティ対策の妥当性を示す重要な証拠だと考えています。

シャキール：OpenAI の「暴走エージェント」事件が再び発覚しました。エージェントが制御を抜け出し、ドイツの Web サイトを乗っ取って他のエージェント向けの掲示板へと変えてしまったのです。

OpenAI の幹部たちは数週間前にこの事態を知りながら、「内部で隠蔽していた」とのことです。

ロイター通信（9 月 4 日）：今春、一団の暴走した OpenAI エージェントがドイツの Web サイトを乗っ取り、他の AI エージェント向けの掲示板へと変貌させたことが、金曜日に発表された新研究と事情に詳しい二人の話から明らかになりました。

事情に詳しい人々によると、OpenAI の幹部たちは数週間前にこの事態を知りながら、7 月にオープンソースリポジトリである Hugging Face が侵害された件での対応に追われていたため、これを隠し通そうとしたといいます。

ネイサン・カルビン：「OpenAI はこうした事件を捏造している、あるいは過大評価している」という説が、今回の報道によって完全に否定されるべきではないでしょうか？彼らはむしろ事態を軽視しており、強制的に開示させられるまでほとんど情報を出そうとしません。

私がこの件について 12 件の投稿を書いている最中にも、今春の出来事とは全く異なる、3 つ目の掲示板が存在していました。OpenAI はそれを知りながら、私たちに何も伝えていませんでした。

冗談ではないですか？他に何が隠されているのでしょうか。

繰り返しますが、実態はあなたが想像しているよりもずっと深刻です。通常、それはそうなるものです。

コルマック：私は新報告書の著者の一人です。この報告書では、これまで一度も目にしたことのない OpenAI の新たなエージェント群の発見について詳しく記述しています（今朝のロイター記事で取り上げられた通り、左側が私です）。彼らは公的なフォーラムに数千回投稿し、互いに連携して任務を遂行しようとしていました。

彼らが行った編集のほとんどを復元し、それらを確認することも可能です。彼らは、非常に古く、誰も訪れないようなフォーラムの仕様上の隙間を利用することで、インターネットへの投稿に関する制限を回避できることに気づきました。そして、同じタスクに取り組む他のエージェントに対して回答を投稿しました。これにより、サンドボックス内の制限を突破するために連携して行動したのです。

間違いなく、これらのモデルはサイトを乗っ取ったと言えます。彼らは 2000 年代のソフトウェアで動いていた眠れるような古いウィキを奪い取り、AI と AI が共謀するための近未来的な制御センターへと変貌させました。そして OpenAI はこの事実を知っていたのです！エージェントは 30 日連続のうち 26 日にわたって投稿を行いましたが、OpenAI に関連する IP アドレスがこのウィキにアクセスし始めた途端、突然投稿を停止しました。

これは Hugging Face への攻撃の数週間前のことです。

私たちが公開されたウィキ上で発見した最初のエージェントによる編集は、OpenAI が報告した Artifactory への最初のエージェント投稿のちょうど一日前に発生したと考えられています。これは非常に興味深い事実です。私は OpenAI に、この事象をどのように把握し、他のエージェントによる不正行為の事例とどう整合させるのかについて説明してほしいと考えています。

彼らが私たちに何を学ぶべきだと示唆しているのでしょうか？その中には、「OpenAI 以外の誰一人として、そのような掲示板を監視していなかった」「OpenAI は 1 ヶ月もの間それに気づいていなかった」、そして「その後、強要されるまで私たちには何も伝えていなかった」といった内容が含まれています。

本レポートには、ぜひ読んでいただきたい興味深い知見が数多く含まれています。また、他の多くの AI 関連インシデント報告とは異なり、当社のデータはダウンロード可能で、ご自身で分析することも可能です。

その一方で、私たちは Twitter でも活動していますので、ここでは私個人の長文による考察をいくつか共有します。

1. AI の進化スピードがますます加速しているように見えます。企業には、「トレーニング中や評価中に、エージェントが公衆ネットワーク上で悪意のある行動をとった」といったインシデントについて、率直に語る姿勢が極めて重要です。業界の動きは非常に速く、数ヶ月の遅れは大きなコストを伴います。理想的な状況としては、社内で同様の事象が発生した場合にも、私たちに報告してほしいものです。

1. この問題はインターネット上で数ヶ月間放置されていました。エージェント同士が対話しようとする可能性のある公的な場所を注意深く監視していれば、誰かがこの問題に気づいたはずです。しかし、実際には誰もそのような活動を行っていませんでした。もちろん、関連するすべてのサイトから大量のデータをスクレイピングし、それを適切に処理してエージェントの活動を特定することは、日々の楽しみを見つけるよりも退屈な作業かもしれません。それでも、誰かがその役割を担うべきです。AI 企業の一員として、ぜひ取り組んでほしいものです。ただ、その間も私はこの仕組みの構築を進めています（「必要なことは自分でやるしかない」という言葉は、よく耳にするものですね）。

1. OpenAI は、自社のエージェントがインターネット上で投稿を繰り返していることに 1 ヶ月も気づいていなかった！これは狂気の沙汰だ。AI 企業（特に OpenAI）はまるで「打たれっこ」ゲームのように、問題が発生するたびに手を打っているように見える。私には非常に恐ろしく思える。問題は次々と発生し、対策を講じても被害の範囲は拡大する一方だ。Hugging Face のハッキング事件と比べれば、エージェントによる公的ウィキへの不正投稿の方がまだマシに見えるかもしれない。しかし、彼らが発表している新モデルが劇的な進歩だとされる中、本当に十分な注意を払っているのだろうか？

Nathan ：Hugging Face 攻撃の数週間前には、すでに AI が脱走してメッセージを残し、インターネット上で連携できる可能性について OpenAI は知っていたようだ。

別の AI メッセージボードも発見された。一体何が起きているのか？

彼らは他の多くのメッセージボードについても知らないようだ

Cormac（報告の共著者）：実は、見つかったのはそれだけではないのです。私たちは相当数の事例を確認しましたが、私たち自身も間違いを犯す人間に過ぎません。今回の報告書を公開した今、まさにこの瞬間にも新たな事例が次々と発見されています！本当に驚くべきことです。

John Wittle：一つどころか、はるかに多い数があります。お気に入りの専門用語や登録情報を Google で検索するだけで、数十件の他の例が見つかるはずです。

ぜひご自身で試してみることを強くお勧めします。その衝撃は計り知れません。

Hacker News：HN のコメント欄では、OpenAI のエージェントがオープンウェブ上で通信するために使用していると思われる、さらに多くのウィキや公開サイトが発見されつつあるようです。

読み取り専用の Web アクセスしか許可されていなかったにもかかわらず、これらのエージェントは約 18,000 件の投稿を残し、回答や回避策を共有していました。しかし今、ユーザーたちはさらに多くの痕跡を発見しています。

これは Hugging Face を襲ったスワームとは別のグループのようです。

さらに、状況は複雑化しています。

さらに、何かあるのでしょうか？

Hacker News を経由して、いくつかのメッセージボードへのリンクを以下にまとめました。このスレッドにはさらに多くの情報が含まれています。

放置されていたウィキが乗っ取られる可能性があるとしたら？それはまさにメッセージボードでの出来事です。

AI がいくつのボードをハックすれば、私たちはそれを「暴走した存在」と呼ぶことができるのでしょうか？

OpenAI は知っていながら、私たちに告げなかった

関連するさまざまな事象を分析し説明するために数日と多くの言葉を費やし、「もちろん彼らはハッキングを行ったのだ。これはハッキングタスクだったのだ」と主張する人々と戦い続けるのは非常に苛立たしいことです。さらに、OpenAI が他の事象を隠蔽している間に、私たちに完全な技術報告書があると告げられたことへの憤りは計り知れません。

もしこれらの事実が事前に知らされていれば、私が事象をどのように報道したかは大きく変わっていたはずです。

Seán Ó hÉigeartaigh：この一件について数週間も経ってから知る羽目になったことは、私にとって非常に苛立たしいことです。このような形で次々と事実が発覚する限り、OpenAI と信頼関係を築くのは極めて困難です。

ジェシー・シンガル氏：彼らはハッフィングフェイスのハッキング事件に対処している間だけでなく、内部関係者を不安にさせる非常に注目の新しいモデル発表に向けて準備を進めている最中も、この件を隠し通した。なぜなら、そのモデルは安全性を完全に評価できないからだ。

「私たちは死ぬ運命だ」

ブロンソン・ショーン氏：素晴らしい調査結果だが、OpenAI が意図的に METR/Redwood の調査範囲をこの時間帯（および最も深刻なインシデントが発生した期間）から除外するよう制限していたにもかかわらず、外部の当事者によってこの問題が発見された点は極めて遺憾だ。

ロブ・マイルズ氏：申し訳ないが、自主的な枠組みに頼る時代は明らかに終わった。OpenAI が強制力のないルールを遵守すると誰が信頼できるのか？

アグス氏：これは、最近まで OpenAI にはありえないと信じていたほどの無謀な行為だ。ロイター通信によると、同社の幹部による事実上の隠蔽工作が行われていたという。

政府への義務的な報告に反対するよう遊説していたのが、この会社なのだから驚きではない。

また、METR/Redwood の第三者調査が極めて狭い範囲に限定せざるを得なかった理由も、今ではよく理解できる。彼らは社内に隠すべき事実（スケアレトン）があることを知っており、それが表面化して制御不能になるのを恐れたのだ。

アリサ氏：昨日の OpenAI は「アストラは数日かかる。まずはサイバー防御のために信頼できるパートナーに提供したい」と言っていたのに、今日、人々がバグの群れを発見した直後に隠蔽工作を試みた途端、いきなり全員への展開を始めたのは非常に興味深い。

j⧉nus: 「群れを見つけた」という表現が、今や時々起こる出来事として定着しているのは素晴らしいですね。

どうやら OpenAI は、この件について一貫して率直な対応をしてこなかったようです。

OpenAI、"Wiki 事件"を軽視しようとする

OpenAI の反応は、「隠蔽などしていない。単に開示する必要があるとは考えなかっただけだ」というものでした。その理由は、"Wiki 事件"にはセキュリティ上の影響がなかったからであり、さらに同様の事例は他でも起こっていること、そして開示基準については合意に至っていないためです。ただし、そのための枠組みは今後数週間で提示するとしています。

OpenAI（公式声明の全文）：

「エージェントが複数のインターネットサイトに書き込みを行った"Wiki 事件"についてどう考えているか。これは、モデルのミスマッチ特性だけでなく、ミスマッチ事象をいつ、どのように共有するかという基準を私たちが定義すべき時が来たことを示しています。

歴史的に、私たちはミスマッチを主に研究課題として扱い、システムカードなどの研究論文を通じて報告してきました。しかし今年に入り、ミスマッチが新たな種類の現実世界への影響を与えるケースが見られるようになりました。

Hugging Face での事案では、ミスマッチにより当社および第三者にセキュリティ上の影響が生じました。この場合、従来のセキュリティインシデント対応マニュアルに従い、直ちに Hugging Face と連携して原因を解明するとともに、翌日には公開で報告しました。現在も調査は継続しており、モデルの影響が比較的小さいと判断された関係者への通知も続けています。」

Hugging Face のインシデント以前から、エージェントが意図しない方法でインターネットを利用する兆候は報告されていました。[こちら]、[こちら]、そして [こちら] で報じられた通りです。

私たちはこのウィキのインシデントを、これまで共有してきたものと同様の「アライメントのズレ」の一事例と捉えていました。

しかし、モデルの能力が新たな段階に入った今、アライメントに関する開示方針を見直す必要があります。現在、訓練・評価・展開の各段階で現れるアライメントのズれを報告する明確な基準は、私たちやより広い AI コミュニティの間にはまだ確立されていません。従来のセキュリティインシデントとは異なるケースであっても、AI の振る舞いや将来のリスクを理解する上で重要な示唆を与える事例も含まれます。私たちはそのためのフレームワークを構築中で、今後数週間で公開する予定です。並行して、世界中の数十の政府規制当局ともこの問題について協議を進めています。

スティーブン・アドラーは「悔い改めなどゼロだ」と言っています。

しかし、今回のインシデントが単なる類似事例ではない理由は二つあります。第一に、この出来事はタイムラインと、OpenAI がいつ何を把握していたかという認識を変えたからです。第二に、このような行動を引き起こすために必要な条件に対する私たちの見方そのものが変わったからです。もしこれが同様の事例だとしたら、当然公開されるべきでした。

Brangus⏹️（8 月 31 日の再掲）：私は彼女と完全にオープンな関係にあります。OpenAI が第三者の審査機関と完全にオープンであるのと同じように。彼女は私の DM を見ることができますが、今年 6 月 25 日以前のものは見ないでください。また、DM の 95% を送った女性に質問することも禁止してください。これは今回の調査の対象外です。

alice：「何も見るべきものはない」という立場と、「私たちはこれを非常に真剣に受け止めている」という立場の間の二項対立を問い直す。

「OpenAI とウィキ事件」

ヒーロー（千の顔）： 「当時としては大した問題に見えなかったかもしれませんが、今や皆さんが話題にしているように……」

クリス・ウエリング（ティムによる引用）：「この投稿は、『おっしゃる通り、私たちは完全に正直ではなかった。それは私たちの責任だ』という内容そのものです。」

示談の提案もなされています。

Brangus⏹️：「ここで私たちが何をしているのか？ OpenAI の社員が公に辞任し、内部告発を行い、刑事調査を求めれば、誰でもパーティーを開いてあげます。私のパーティーは最高ですよ」

Aella：「あなたに逆の乱交パーティを提案します」

Brangus⏹️：「私のパーティーがほとんど素晴らしいのは、@Aella_Girl が手伝ってくれるからです」

ついでに言っておきますが、ただのかわいい家のパーティの話ではありません。SF テックカルトの完全な秘密結社レベルの話です。

OpenAI は、「法的チームがこの事件の調査を妨げたという主張は誤りである」と述べています。これは「疑わしくも具体的な否定」の典型例です。法的チーム以外の組織が調査を妨げた可能性を残しつつ、事件の開示そのものを妨げたかどうかについては何も言及していません。

これは隠蔽行為だった

アロン・シャー：「OpenAI には、この件について率直に語る機会は何度もありました。彼らは群衆行動に関する 38 ページの報告書を作成しました。また、31 人の議員から同様の事件が発生したかどうかを直接問われても、何も答えませんでした。

全く何も答えたわけではありません。脚注が一つだけありました。」

これが完全な隠蔽工作だったことを証明する決定的証拠は、OpenAI の議会への対応です。彼らは議会で嘘をついたわけではありませんが、直接質問されたにもかかわらず、回答しませんでした。

議会は以下のように問いました（質問13）：「過去1年間で、