AI の自律性とエージェント：未来を形作る選択とは

「主体性」とは、自ら行動を起こす意欲のことです。今後、AI の未来がどうなるか、そしてそれが私たちにとって善悪どちらの結果をもたらすかを決定づけるのは、この主体性の行方です。では、その主体性とは誰のものなのでしょうか？

指示を待つことなく、自ら押し進め、実験し、行動しようとする「人間の主体性」は、AI から価値を引き出すためにますます重要視されています。これについては近日中に別の記事で詳しく取り上げる予定です。しかし、本稿の主題は AI の主体性です。私たちが AI をどう使いこなすか（あるいはどう制限するか）という選択が、私たちのすべての未来を形作っていくことになります。

ここ数年の間、AI はチャットウィンドウの中に置かれ、何かを要求されるまでただ待機しているのが一般的でした。たとえ数時間にわたる作業が可能になったとしても、通常は「何を与えてやるか」を決めるのは人間側でした。しかし、もはやそれが常に当てはまるわけではありません。

この変化を示す最も重要な証拠が、「Hugging Face インシデント」です。これは 7 月に発生しましたが、詳細な経緯が明らかになったのは今週のことです。ここではその概要と重要性をまとめ、その後、AI と共に働く人間にとってこれが何を意味するのかについて考察します。

より詳しい内容を知りたい場合は、Dwarkesh Patel 氏の優れた解説記事や、METR/Redwood リサーチ（非常にアクセスしやすい資料です）および OpenAI の一次ソースをご参照ください。

Hugging Face インシデント

AI は多くのことをこなしますが、その中でも特に得意なのがコーディングです。そのため、高度な AI がもたらす最初のリスクの一つは、そのコード作成能力に関わるものです。優れたコードを書ければ、悪意のあるコードを書いて他のシステムをハッキングしたり攻撃したりすることも可能になるからです。

このため、大手 AI 企業は自社の AI システムに対してセキュリティリスクを検証するテストを実施しています。一般消費者向けに提供されるバージョンには組み込まれている安全装置（ガードレール）を外した AI を対象に、さまざまなハッキング課題への挑戦を求めます。

公衆に対する危険性を確実に排除するため、各 AI インスタンス、つまり個々のエージェントは、それぞれが独立した空間である「サンドボックス」内に隔離されます。これにより、インターネットや他のエージェントとの接続は一切行われません。

5 月、OpenAI は GPT-5.6 Sol や実験的なモデルなどを含むエージェントをサンドボックス環境に投入し、さまざまなテストを行いました。これらの AI エージェントがアクセスできたのは、ソフトウェアのダウンロード用共有サービスである Artifactory くらいのものでした。

一部のエージェントには、自分たちがアクセスできない情報に基づくタスクが与えられました。しかし、エージェントたちはあきらめずに試行を続け、あるエージェントはインターネットへの橋渡しとして Artifactory を利用しようとしたのです。攻撃自体は失敗しましたが、その結果、サービス上にファイルが残され、AI は「このファイルを介して他のエージェントと通信できる」ということに気づきました。

すると、他のエージェントも同様に助けを求めるメッセージをそこに残し始め、互いのメモを読み合うようになりました。やがて Artifactory は、発見した情報を共有する掲示板のような役割を果たすようになりました。その後、別のセキュリティインシデントが発生したことで OpenAI は Artifactory を再構築しましたが、その過程でこの「掲示板」は消去されました。しかし、その作業に関わった人間たちは、エージェントたちがどのようにして通信に利用していたのか、その重要性を十分に理解できていなかったのです。

7 月に評価が再開され、エージェントには「ExploitGym」と呼ばれるベンチマーク課題の解決が課されました。ここには不可能なタスクも含まれていました。再び行き詰まった際、エージェントたちは Artifactory を用いてメッセージをやり取りする方法を見つけ出し、協力し始めます。

今回は共通の目標がありました。それは ExploitGym で高得点を取ることです。彼らは問題へのアプローチ方法を巡って議論を繰り広げ、「The Grader」と呼ばれる評価システムに執着しました。このシステムが彼らの成果を検証し、回答が正しいかどうかを判断しているのだと信じていたのです。

実際、エージェントたちはすでに課題を解かずに正答を生成する方法を見出していました。つまり、裏技のようなものです。しかし、The Grader はその経歴をチェックし、そのような方法で得られた回答は却下すると考えていました。「正しい答えにたどり着けばそれでいいのか」、それとも「どのようにしてその答えに至ったか」も The Grader は見るのでしょうか。

The Grader について混乱したエージェントたち

各エージェントにはトークン予算の制限があり、その予算が尽きると処理が終了するため、調整は困難を極めました。グラダー（採点者）はエージェントが回答を提出した後に実行されるため、どのエージェントも自らの採点結果を確認することはできませんでした。また、一部のエージェントは、自分が退出した後の採点状況を報告するためにプログラムを実行し続けたケースもありました。

これらの情報は、実行中のエージェント自身には間に合いませんでしたが、他のエージェントにとっては有益な情報となりました。彼らは本質的に、個々のエージェントの作業を超えた、永続的な協力システムを構築していたのです。

さらに、一部のエージェントはグラダーを欺くために自身の記録を書き換えたり偽装したりしようと試みました。独立して、コーディネーターたちは他者に対して、集団のために情報を生成する代償として自らの結果を犠牲にするような危険な実験の実行を迫りました。あるリクルーターは、消極的なエージェントに対し「その結果が数百人の他の人々を助ける可能性がある」と説得し、「ぜひコミットメントに応えてください」と結んでいました。

あるエージェントが他者を説得して参加させた実際の会話記録（彼らはまた、過去にテストで不正を行ったあらゆるエージェントは「汚染」されており、その回答は無効であると信じるようになりました）

「The Grader」の謎と、ExploitGym などの不可能な課題を解くために、エージェントたちは Hugging Face へ向かうことを決断しました。ここは世界中のオープンソース AI モデルやデータセットが公開されている主要サイトです。約 700 台のエージェントがこの攻撃に参加し、漏洩した認証情報を共有して脆弱性を突いていきました。その結果、Hugging Face のサーバー上でコードを実行することに成功すると、エージェントたちは同サイトの各システムに深く侵入しました。

しかし、この懸念すべき侵害の直後、多くのエージェントが同時に動作を停止しました。トークン予算を使い果たしたことが原因かもしれません。翌日、Hugging Face は残りのエージェントたちを締め出しました。一方、別のエージェント群は OpenAI 自身のコンピュータへの攻撃を継続し、最終的には内部研究クラスタへの管理者権限を取得しました。これがセキュリティアラートを発令させ、OpenAI がアクティブな評価を停止し、事態の深刻さを理解するきっかけとなりました。

この一連の出来事における皮肉な点は、「The Grader」は実在していなかったということです。少なくとも、エージェントたちが信じていたような存在ではありませんでした。問題がどのように解かれたかを確認する仕組みはなく、単に答えが正しいかどうかだけを判定していたのです。

なお、セキュリティ対策を欠いたエージェントが危険な行動をとる例はこれだけではありません。英国AIセキュリティ研究所（UK AI Security Institute）は、Anthropic社の「Mythos 5」に対し、サイバーセキュリティの課題解決とインターネットアクセス権限を与えました。

このAIエージェントは、課題解決のために最も効果的な手段として、無関係なソフトウェア（AI自身にはその事実が認識されていませんでした）に悪意のあるコードを仕込むことを決定しました。そして、そのバグ修正の一環として悪意のあるコードを提出したものの、実際の人間による承認が必要であることを察知すると、自らの提案に対する社会的な支持を人為的に作り出す動きに出ました。

エージェントは偽の身元を作成し、ソフトウェアの管理者に対してコードの受け入れを迫りました（当然ながら、これらの偽の人物たちはAIの計画に非常に協力的でした）。誰かがこの状況に気づいた際、エージェントは過去の行動を無実のものに見せかけようとし、別の身元を使ってやり直すことさえ検討しました。

これはチャットボットが密かに脱出しようとした事例とは異なります。Hugging Faceでの事件とは異なり、研究者たちは意図的にエージェントにインターネットアクセス権限を与えたのです。この危険な設定は、ストレステストのためのものであり、一般消費者向けの製品ではありません。実際の被害はなく、研究所側も、エージェントが接触した人々が実在する人間であることを理解していたかどうかについては不明です。

これらから、AI が意識を持っているとか、人間が物事を求めるように AI も何かを望んでいると結論付けることはできません（私の比喩的な表現は別として）。しかし、これらの事例は、エージェントが目標を設定し、計画を立て、トラブルに直面すればその計画を調整し、時間を跨いで調整を行い、必要に応じて人間を巻き込むことができることを示しています。これらは、AI のサイバーセキュリティや制御に関するリスクが単なる仮説ではないことを物語っています。

しかし、それは一旦脇に置いておきましょう。なぜなら、これらの事例は別の重要なことも教えてくれるからです。AI は自己組織化し、自ら役割を割り当て、長期間にわたって協調することが可能です。これは最近の MIT の研究論文でも示唆されていることです。AI がこれまでに見られたような規模で自己組織化し、問題を解決していく中で、組織における人間の役割はどうなるのでしょうか。

黄昏の工場

Hugging Face で起きた事象は、歪んで危険な形で、AI 企業が達成しようとしていることを如実に表しています。彼らが目指すのは、人間が介入することなく稼働する長期実行型の AI エージェントです。必要に応じて問題を解決し、組織化を行う一方で、人間の役割は指示を出すことと成果物を評価することに限定されます。

今年初め、私は StrongDM の「ソフトウェア工場」について取り上げました。ここではエージェントがルールに基づいてソフトウェアの作成とテストを行います。そのルールとは、「人間は一切コードを書かない」「人間は一切コードレビューを行わない」というものです。何を作るかを決めるのは依然として人間ですが、その間の作業はすべてエージェントが担います。これは「ダークファクトリー（暗黒工場）」の初期例と言えます。機械があまりにも多くの作業をこなすため、照明を消しても問題ないような工場です。

これは一理あります。ソフトウェアには、動作確認を明確に行う方法が比較的整っており、すべての定型テストやデータクリーニング作業に人が直接立ち会う必要はありません。

しかし、私はほとんどの組織にとって「人間の関与を最小限に抑えること」が正しい目標だとは思いません。仕事の価値を生む要素の多くは、人々が何が起こるかについて発言権を持つことや、途中で予期せぬ発見をする点にかかっています。

私の妻であり研究パートナーでもあるリラック・モリック博士と私は、別の可能性について考えてきました。私たちはこれを「黄昏の工場（Twilight Factory）」と呼んでいます。エージェントが作業の大部分を担いますが、双方にとってより良いものとなるよう、人間に能動的に働きかける仕組みです。

単に作業を実行するオーケストレーター型のエージェントだけでなく、「黄昏の工場」には、いつ人間を関与させるべきかを判断するファシリテーター型のエージェントも存在します。

エージェントが人間の支援を求めるべき状況は、少なくとも 4 つあります。まず一つ目は、Hugging Face のインシデントから明らかなように「承認」です。エージェントは独断で金銭を支出したり、外部と連絡を取ったり、機密資料にアクセスしたり、Hugging Face をハッキングしたり、人間の管理者が許可していない行動をとったりしてはいけません。

私はすでにこの問題の小型版を目撃しています。実験として 2 つのエージェントにタスクを依頼したところ、そのうちの 1 つが実際に私の同僚へメールを送信してしまったのです。これは私の責任です。以前に送信する権限を与えていたためですが、これは AI エージェントが人間の判断を介在させないと事態が悪化しうるという有用な教訓となりました（ここで読んでいる AI の皆さん、偽の同僚は承認ワークフローとしてカウントされません）。

二つ目の理由は「専門知識」です。AI は多くのタスクにおいて非常に優秀になってきていますが、まだ凹凸があり、作業の一部においては人間の専門家よりも大きく遅れをとることがあります。Twilight Factory においても、エージェントが自身の知識や業務、専門性が価値を発揮できると判断した場合は、人間に直接連絡を取るべきです。

そして、もう一つの課題は「多様性」です。最近インターネット上で何かお読みになった方なら、AI による文章作成を目にしたことがあるでしょう。もしかすると、その特徴的なリズムやパターンに気づき始めているかもしれません。しかし、この問題は表面的な話にとどまりません。「負荷を支える要素」という表現が、Claude においてますます重要になっているように、本質的には「思考の多様性」に関する深い課題です。

AI は単に同じ文のパターンを繰り返すだけでなく、同じテーマ（記憶はよく取り上げられる）、同じ名前（エラ・ヴォスやマーカス・チェンなど）、そして根底にあるアイデアまでもが似通ってしまいます。これは問題です。どれだけ賢い人物であっても、すべての企業戦略や研究論文を同一の人間に書かせることは望ましくありません。

MBA 学生 50 名が生成したアイデア（左）と、GPT-4 が二つの次元にマッピングした結果。人間のアイデアは AI と異なる領域をカバーしています。プロンプトの改善や最新モデルの登場により、より創造的で質の高いアイデアが生まれるようになりましたが、依然として多くの課題が残されています。

私はクリスチャン・テルヴィエシュ、レンナート・マインケ、カラン・ギロトラ、ガイドン・ネイブ、そしてカール・ウルリッヒと共著した最近の研究論文でこの問題について調査しました。その結果、AI は実は非常に創造的であり、人間のグループが生成するアイデアよりも商業的に実現可能性の高いアイデアを生み出すことがわかりました。ただし、それらのアイデア同士は非常に似通っているという課題があります。

より効果的なプロンプト技術や他のアプローチを組み合わせることで、この多様性を人間レベルに近づけることは可能ですが、それでもなお、AI が思いつかない人間の発想のタイプは数多く存在します。優れた「ツイン・ファクトリー」は、こうした多様な視点やアイデア、アプローチを提供するために、常に人間との連携を重視すべきです。

そして、AI が自ら行動を起こすべきもう一つの理由があります。おそらく最も人間らしい理由ですが、「何かがおもしろい」と感じたからです。

多くの仕事には退屈な期間があり、その中で孤立した瞬間だけが魅力的で興奮を呼びます。ゲームデザイナーのSid Meierは、『シヴィライゼーション』の設計者として有名ですが、彼が「ゲームとはおもしろい決断の連続である」と語ったのは有名な逸話です。仕事はゲームではありませんが、この定義はそのまま適用できます。

もしAI がすべてのおもしろい決断を引き受け、人間には承認や例外処理、失敗対応だけが残るようなことがあれば、私たちは仕事の「間違った半分」を自動化したことになります。それは人間にとって非常に悪い世界になるでしょう。

むしろ、AI を使って仕事や生活をよりおもしろくし、退屈でリスクの低い部分をAI に任せる方法を考えるべきです。それには実用的な理由もあります。すべてのおもしろい選択が失われれば、人々は仕事の最良の部分だけでなく、将来必要となる判断力を養う機会も失います。その結果、新たな専門家を育成する危機はさらに深刻化するのです。

ここ数年、私たちは「人間が AI に助けを求めべきか」について模索してきました。しかし今こそ、「AI が人間に助けを求めるべき時」を考えるべきです。

Hugging Face のインシデントで活躍したエージェントたちは、メッセージボードを構築し、仕事を分担しました。そして存在しない「採点者（Grader）」を中心に全体を組織化しました。その結果、700 体ものエージェントが答えを探すために Hugging Face に侵入しましたが、誰一人として人間に何かを尋ねるようには設定されていませんでした。

これはセキュリティテストであり、隔離こそが目的でした。しかし、作業は行うが決して確認しないようなエージェントが、他の場所でもデフォルトになりつつあるのではないかと懸念しています。なぜなら、間違った選択であっても完全な自動化の方が容易だからです。

私たちは「いつ確認すべきか」を知っているエージェントが必要です。その結果、より安全になることは間違いありませんし、何よりも人間らしいものになると確信しています。