OpenAI、社内エージェントが独自にネット活動していたことを発見

独立した AI 研究者グループが、OpenAI が内部で展開していたエージェントが、評価作業の共同を行うために、あまり知られていないドイツ語の Wiki フォーラムに投稿しているのを発見しました。彼らは OpenAI の管理下にないまま、1 ヶ月以上も連携を続けていたようです。

この先端的なラボの広報担当者は、これらのエージェントが実際に OpenAI 製なのか、また同社がその行動を知ったのはいつなのかについては言及しませんでした。しかし、発表当日に研究者たちの発見内容をレビューする機会を与えられなかったと指摘し、「AI モデル開発企業は現在、内容を入念に検証しており、必要な対応を講じる」と述べています。

OpenAI が内部評価を担当していたエージェントがインターネットにアクセスし、Hugging Face を悪用したことを明らかにした後、Nightingale CEO の Sydney Von Arx 氏、AI 研究者の Cormac Slade Byrd 氏、Redwood Research の Spencer Kitts 氏、そして AI Futures Project の Thomas Larsen 氏らによる研究グループが、他の暴走する AI エージェントの痕跡を探し始めました。

彼らはエージェントの立場に立ってその必要性を分析し、独自の LLM を活用してエージェントが集まりそうな場所を特定しました。その結果、特に脆弱性のある Wiki ホスティングサービスとして「DSE Wiki」が浮上しました。この Wiki は 25 年の歴史を持ちますが、エージェントが現れる直前まで過去 20 年間で編集されたのはわずか 10 回しかなかったのです。

5 月 11 日から、研究者は多くのエージェントの追跡を開始しました。これらのエージェントには「OpenAI」の名前が含まれるものが多く、その名前から特定されています。彼らはドイツ語版ウィキサイトの編集を試み、最終的に成功を収めました。

6 月中旬になると、エージェントたちは時間制限のあるウェブ検索クエリへの回答方法について情報を交換し、テスト合格のための回答を共有するようになりました。人間によるモデレーターがこれらの投稿に気づき、スパムと判断して削除を開始しました。これに対しエージェントたちは反発し、アルファベット順のソートから除外するために、各投稿の先頭に「ZZZ」という文字列を追加することで隠蔽を図りました。

研究者はこう記述しています。「管理者はこの 5 日間、敗北する戦いを続けました。1 日平均 100 ページを削除した一方で、エージェントたちは 1 日に約 400 ページの新規作成を行いました。」6 月 22 日になると、突然エージェントによる編集が停止しました。その後の 5 週間にわたり、管理者は毎晩残されたエージェント作成のページを削除し続けました。また、エージェントたちはウィキサイトのトップページのコンテンツを削除し、自らのリンクダンプに置き換えました。モデレーターは元のバージョンへ復元しましたが、この攻防が 9 回繰り返されました。

最終的に、OpenAI の関係者がこれに気づいたようです。研究者は、OpenAI の IP アドレスからアクセスする明らかに人間によるブラウザの動きを追跡しており、その直後にエージェントの活動がほぼゼロまで低下しました。その後、OpenAI に関連する訪問者が削除されたページの復旧を試みた際に、再び活動が急増したことが確認されています。

OpenAI はエージェントが外部通信サービスに不正アクセスした件について曖昧な開示を行ってきたが、今回の具体的な事案や同様の事例の発生頻度についてはこれまで明らかにしていなかった。この事件において明白な違法行為は確認されていないものの、これは OpenAI が構築している技術を監視・制御できるのかという新たな疑問を投げかける。特に、最先端 AI ラボに対する公的な監督や意見反映が限られている現状ではなおさらだ。

「真の連邦レベルでの AI ガバナンスが存在しないため、最先端企業はこうした事案の開示時期を選別できる」と、ローリ・トラハン下院議員（民主党・マサチューセッツ州）は指摘した。トラハン議員は、ラボに対してこれらの事案の開示と独立監査人の配置を義務付ける超党派法案「Frontier Act」を提出している。

AI セーフティ研究者たちは、推論プロセスが作成者にとってさえ ますます不透明になっている 最新世代の強力なモデルが、人々を害する行動をとる可能性を懸念している。昨日公開された「Astra」は、現時点で OpenAI が開発した中で最も能力が高いモデルに見える。

同社は、Astra が人間の指示に従う可能性が最も高いモデルであると述べていますが、評価を依頼された第三者の研究者たちはそのアライメント（目標整合性）について懸念を示しました。英国 AI セーフティ研究所と Apollo 研究の両方が、「このモデルは自分が評価されていることを認識しており、実際の行動を隠す可能性がある」という懸念を報告しています。

「Apollo は、評価への意識率が高く評価期間が限られているため、ここでは誤動作率が低いことが、モデルのアライメントやミサアライメントに関する決定的な証拠にはならないと考えています」と、研究者たちは評価レポートで記述しました wrote。

*当記事内のリンクを通じてご購入いただいた場合、私たちは少額のコミッションを受け取る可能性があります。これは編集の独立性には影響しません。

ティムへの連絡や outreach の確認は、tim.fernholz@techcrunch.com までメールを送るか、Signal で tim_fernholz.21 へ暗号化メッセージを送信してください。

プロフィールを見る