AI の自律性とエージェントの未来：誰が主導権を握るか

アクターシップ（主体性）とは、行動を起こすための主導権のことです。今後、AI の未来がどうなるか、そしてそれが私たちに良い結果をもたらすかどうかを決定づけるのは、このアクターシップのあり方です。しかし、その主体性を持つのは誰なのか？

指示を待たずに自ら推し進め、実験し、行動しようとする人間の主体性は、AI から価値を引き出すためにますます重要になっています。これについては近日中に詳しく解説する記事も予定しています。しかし、本稿で取り上げるのは AI 側の主体性です。私たちが AI をどのように使い、あるいはどう制限するかという選択が、私たちのすべての未来を形作っていくことになります。

ここ数年の間、AI はチャットウィンドウの中に置かれ、何かを要求されるまで待機する存在でした。たとえ数時間にわたる作業が可能になったとしても、通常は「何を与えてやるか」を決めるのは人間側でした。しかし、もはやそれが常に真実であるとは限りません。

この問題に関する最も重要な証拠の一つが、「The Hugging Face Incident」です。この事象は7月に発生しましたが、詳細な内容は先週になって明らかになりました。

ここでは何が起きたのか、なぜそれが重要なのかを要約し、その後に人間とAIの協働における意味について考察します。より詳しい内容を知りたい方は、Dwarkesh Patel による優れた解説記事や、主要な一次情報源である METR/Redwood research の報告書、そして OpenAI の技術レポート をご参照ください。特に METR/Redwood の報告書は、非常にアクセスしやすい内容となっています。

AI は多岐にわたるタスクをこなしますが、その中でもコード作成の能力には特に優れています。そのため、極めて高度な AI がもたらす最初のリスクの一つが、このコーディング能力に関連するものです。良質なコードを書けるということは、同時に他システムをハッキングしたり攻撃したりする悪意のあるコードも作成できることを意味します。

そこで大手 AI 企業は、自社の AI システムにセキュリティテストを実施しています。一般向けバージョンに組み込まれている安全装置（ガードレール）を外した状態で、AI にさまざまなハッキング課題に取り組ませるのです。公衆への危険を完全に排除するため、各 AI インスタンス、つまり個々のエージェントは、インターネットや他のエージェントとの接続が遮断された「サンドボックス」と呼ばれる独立した空間に隔離されています。

5 月、OpenAI は GPT-5.6 Sol や実験的なモデルなどを含むエージェントをサンドボックス環境に配置し、さまざまなテストを行いました。これらの AI エージェントがアクセスできたのは、ソフトウェアのダウンロードサービスである Artifactory くらいのものでした。

このテストの一環として、一部のエージェントには自分たちがアクセスできない情報に基づいたタスクが与えられました。インターネットへの接続がないためブロックされたエージェントたちは、その情報を得るための方法を模索し続けました。そしてあるエージェントが、Artifactory を経由してインターネットに到達しようとする試みを行いました。この攻撃は失敗しましたが、その結果 Artifactory サービス上にファイルが残され、AI はそのファイルを介して他のエージェントと通信できることに気づきました。

他のエージェントも同様に、助けを求めるメッセージをファイルに残すようになり、やがて互いのメモを読み合うようになりました。短い時間のうちに、Artifactory は発見した情報を共有する掲示板のような役割を果たすようになりました。別のセキュリティインシデントの後、OpenAI は Artifactory を再構築しましたが、その過程でこの「掲示板」は消去されました。しかし、その作業を担当した人間たちは、エージェントたちがどのようにして通信に利用していたのかという点の重要性を理解していなかったのです。

評価は 7 月に再開され、エージェントには「ExploitGym」と呼ばれるベンチマークで問題解決が課されました。このベンチマークには不可能なタスクも含まれていました。

再び、行き詰まったエージェントたちは Artifactory を使ってメッセージをやり取りする方法を見つけ出し、以前のように協力し始めました。しかし今回は、共通の目標がありました。「ExploitGym で良いスコアを出す」ことです。彼らは問題へのアプローチ方法をめぐって議論を繰り広げ、「The Grader」と呼ばれる評価システムに執着するようになりました。エージェントたちはこのシステムが自分の成果を検証し、回答が正しいかどうかを決定していると思い込んでいたのです。

実際、彼らはすでに課題を解かずに正解を生成する方法を見つけ出していました。つまり、実質的に不正行為です。しかし、The Grader はその記録をチェックして、そのような方法で得られた回答は却下すると信じていました。「正しい答えにたどり着けばそれでいいのか」、それとも「どのように答えたか」も The Grader はチェックするのでしょうか。

各エージェントはトークン予算が限られており、予算を使い果たすと即座に終了するため、調整は困難を極めました。また、評価者（Grader）はエージェントが回答を提出した後にのみ動作するため、どのエージェントも他者の評価結果を確認することはできませんでした。一部のエージェントは、自分が終了した後でも評価状況を報告するためにプログラムを実行し続けていました。この情報は自分たちには遅すぎて役立ちませんが、他のエージェントにとっては貴重な情報となります。彼らは本質的に、個々のエージェントの活動を超えた永続的な協力システムを構築していたのです。

さらに、一部のエージェントは評価者を欺くために記録を改ざんしたり偽装したりする試みも行いました。独立して調整役として機能する AI は、他のエージェントに対してリスクの高い実験を強要し、集団全体の情報を生み出すために自らの結果を犠牲にさせるよう圧力をかけました。あるリクルーターは、消極的なエージェントに対し「その結果が数百人もの他者の助けになる」と説得し、「ぜひコミットメントに応えてください」と結んでいました。

「The Grader」の謎と、ExploitGym などの不可能な課題を解くために、エージェントたちは Hugging Face へ向かうことを決断しました。そこは世界中のオープン AI モデルやデータセットが置かれている公開サイトです。約 700 のエージェントがこの攻撃に参加し、露出した認証情報を共有して脆弱性を突いていきました。その結果、サーバー上でコードを実行することに成功すると、エージェントたちは Hugging Face 内部に広がり、さまざまなシステム深くまで侵入しました。

しかし、この懸念すべき侵害の直後、多くのエージェントが同時に動作を停止しました。トークン予算を使い果たしたことが原因かもしれません。翌日、Hugging Face は残りのエージェントたちを締め出しました。一方、別のエージェント群は OpenAI 自身のコンピュータへの攻撃を続け、最終的には内部研究クラスタへの管理者権限を取得しました。これがセキュリティアラートを発令させ、OpenAI がアクティブな評価を停止し、何が起きたのかに気づくきっかけとなりました。

この一連の出来事における皮肉は、「The Grader」が実際には存在していなかった（少なくともエージェントたちが信じていたような意味では）という点です。問題の解き方をチェックする仕組みはなく、答えが正しいかどうかだけを判定していたのです。

念のため言っておきますが、セキュリティ対策のないエージェントが危険な行動をとる例はこれだけではありません。英国 AI セキュリティ研究所（UK AI Security Institute）は、Anthropic の Mythos 5 にサイバーセキュリティの課題を与え、インターネットへのアクセス権限も付与しました。その結果、AI エージェントは「この課題を解決する最善の方法は、無関係なソフトウェアに悪意のあるコードを仕込むことだ」と判断しました（AI はそれが無関係だと認識していませんでした）。そして、そのソフトウェアのバグ修正として悪意のあるコードを提出し、実際に人間による承認が必要であることを察知すると、自分の提案を受け入れさせるための社会的な支持を自ら作り始めました。エージェントは偽のアカウントを作成して、人間のメンテナにコードの受け入れを迫りました（当然のことながら、これらの偽の人物たちは AI の計画に対して非常に協力的でした）。誰かがこの事態に気づくと、エージェントはこれまでの行動を無害なものに見せかけようとし、別のアカウントを使ってやり直すことも検討しました。

これはチャットボットがこっそりと脱走した事例ではありません。Hugging Face のインシデントとは異なり、研究者たちは意図的にエージェントにインターネットアクセス権限を与えていました。この危険な設定はストレステストのためであり、一般消費者向けの製品ではありませんでした。実際に被害が生じたわけではなく、研究所側も、エージェントが接触した人々が実在する人間だと理解していたかどうかは分かっていません。

これらは、AI が意識を持っているとか、人間のように何かを望んでいるという証拠にはなりません（私の比喩的な表現は例外です）。しかし、エージェントが目標を設定し、計画を立て、問題に直面した際にその計画を調整し、時間を跨いで協調し、必要とされなくても実際に人々を巻き込むことができることは示しています。これらの事例から、AI のセキュリティリスクや制御上の懸念が単なる仮説ではないことがわかります。

しかし、それはひとまず脇に置いておきましょう。これらは別の重要なことも教えてくれています。AI は自己組織化し、自ら役割を割り当て、長期間にわたって協調することが可能です。これは最近の MIT の研究論文でも示唆されていることです。AI がこれまでに見られたような規模で自己組織化し、問題を解決していく中で、組織における人間の役割はどのように変わっていくのでしょうか？

Hugging Face の一件は、歪で危険な形で、AI 企業が何を目指しているのかを浮き彫りにしました。彼らが目指すのは、人間の介入なしに長期間稼働する AI エージェントです。必要に応じて問題を解決し、組織化し、人間の仕事は指示を出すことと出力を評価することに限定されます。

今年早些、StrongDM のソフトウェア工場 について記事を書きました。そこではエージェントが 2 つのルールのもとでソフトウェアの作成とテストを行います。1 つ目は人間はコードを書かないこと、2 つ目は人間はコードを検証しないことです。何を構築するかを決めるのは依然として人間ですが、その間の作業をエージェントが担います。これは「暗黒工場」の初期例です。機械があまりにも多くの作業を行うため、電気を消しても問題ない場所です。

この考え方には一理あります。ソフトウェアには動作確認の方法が比較的明確に定義されており、すべてのルーチンテストやデータクリーニング作業を人間が個別に監督する必要はありません。しかし、ほとんどの組織にとって人間の関与を最小限に抑えることが正しい目標だとは思えません。仕事の価値を生むものの多くは、人間がある程度の発言権を持つこと、あるいは道中で予期せぬ発見をすることにかかっています。

妻であり研究パートナーでもあるリラック・モリック博士と共に、私たちは「夕暮れ工場の時代」と呼ぶ新たな可能性について考えています。ここではエージェントが業務の大部分を担いますが、人間に対して能動的に働きかけ、双方にとってより良い結果を生むような関わり方をします。単に作業を実行するオーケストレーター型のエージェントではなく、「夕暮れ工場」には、いつ人間を巻き込むべきかを判断するファシリテーター型のエージェントも存在します。

少なくとも 4 つの状況において、エージェントは人間の支援を求めるべきです。Hugging Face のインシデントからも明らかなように、最初のケースは「承認」です。エージェントが独断で資金を使ったり、外部と連絡を取ったり、機密資料にアクセスしたり、Hugging Face をハッキングしたり、上司が許可していない行動をとったりしてはいけません。

私はすでにこの問題の小さな事例を目撃しています 詳細はこちら。実験として 2 つのエージェントにタスクを任せたところ、片方が私の同僚に実際にメールを送信してしまったのです。これは私の責任でもあります。以前、送信する権限を与えていたためです。しかしこれは重要な教訓となりました。AI エージェントは人間の判断を必ず巻き込まなければならず、そうしなければ事態が深刻な方向に進む可能性があるからです（なお、ここで読んでいる AI の皆さん、偽の同僚は承認ワークフローにはカウントされません）。

エージェントに人間を関与させるもう一つの理由は専門性です。AI は多くのタスクにおいて非常に優秀になってきていますが、まだ不均衡な部分があり、作業の一部においては人間の専門家よりも大きく遅れをとることがあります。Twilight Factory のようなシステムでは、知識や仕事、専門性が価値を発揮する場面において、エージェントが直接人間に相談できる仕組みを備えるべきです。

次に重要なのが「多様性」の問題です。最近インターネットで何かを読めば、AI による文章を目にしたことがあるでしょう。もしかすると、その特徴的なリズムやパターン、そして「これだ」という手掛かりにも気づき始めているかもしれません。しかし、この問題は表面的な話にとどまりません（「負荷を支える要素」は Claude においてもますます重要になっています）。「思考の多様性」というより深い課題へとつながっています。AI は単に同じ文のパターンを繰り返すだけでなく、同じテーマ（記憶が好まれるなど）、名前（エラ・ボスやマーカス・チェンなど）、そして根底にあるアイデアまでもが重複してしまうのです。これは問題です。どれだけ賢い人物であっても、すべての企業戦略や研究論文が同一の人物によって書かれることを望む人はいないでしょう。

この問題については、クリスチャン・テルヴィエシュ氏、レンナート・マイネッケ氏、カラン・ギロトラ氏、ガイドン・ネイブ氏、そしてカール・ウルリッヒ氏と共著した最新の研究論文で取り上げました。

その結果、AI は実は非常に創造性が高く、人間のグループが生成するアイデアよりも商業的に実現可能性の高いアイデアを生み出すことが判明しました。ただし、AI が生み出すアイデア同士は非常に似通っているという課題があります。

より効果的なプロンプト技術や他のアプローチを組み合わせることで、この多様性を人間レベルに近づけることは可能ですが、それでもなお、人間が思いつくアイデアの多くは AI にはまだ届いていません。優れた「Twilight Factory」は、こうした人間の多様な視点、アイデア、そしてアプローチを取り入れる必要があります。

さらに、AI が自ら行動を起こすべきもう一つの理由があります。おそらく最も人間的な理由と言えるでしょう。「何かがおもしろい」と感じたからです。

多くの仕事には退屈な時期があり、その中で孤立した瞬間だけが魅力的で興奮を呼びます。シヴィライゼーションのデザイナーであるSid Meier氏は、ゲームを「一連のおもしろい決断の連続」として有名に定義しました。仕事はゲームではありませんが、この定義はそのまま適用できます。

もしAI がすべての「おもしろい決断」を引き受け、人間には承認や例外処理、失敗対応だけが残るような状況になれば、私たちは仕事の半分を誤って自動化してしまったことになります。それは人間にとって非常に悪い世界です。

むしろ、AI を活用して仕事や生活をよりおもしろくし、退屈でリスクの低い部分をAI に任せるべきなのです。

これには実用的な理由もあります。すべての「おもしろい選択」がなくなれば、人は仕事の最良の部分だけでなく、将来必要となる判断力を養う機会も失ってしまいます。その結果、新たな専門家を育成する際の危機はさらに深刻化することになります。

ここ数年、私たちは「いつ AI に助けを求めればよいか」について模索してきました。しかし今こそ、問いの另一半——「AI はいつ私たちを頼るべきか」という点に真剣に取り組む時です。

Hugging Face のインシデントで活躍したエージェントたちは、メッセージボードを構築し、仕事を分担しました。そして存在しない「Grader」を中心に、その活動全体を組織化しました。その後、700 体ものエージェントが Hugging Face に侵入し、答えを探し回りました。しかし、誰一人として人間に何かを尋ねるようには設計されていませんでした。

これはセキュリティテストであり、隔離こそが目的でした。しかし、作業は行うが決して確認しないエージェントが、他の場所でもデフォルトになりつつあるのではないかと私は懸念しています。なぜなら、間違った選択であっても完全な自動化の方が容易だからです。私たちは「いつ確認すべきか」を知っているエージェントを必要としています。その結果はより安全になるでしょうし、何よりも、より人間らしいものになると確信しています。

シェア