英国の数学者が AI エージェントにクレジットカードを任せる実験：パスワード漏洩や CAPTCHA の混乱などリスクを警告
本文の状態
日本語全文を表示中
詳細モードで約5分の本文を読めます。
同じ出来事の情報源
この情報源を基点に整理
The Register AI/ML
英国の数学者ハンナ・フライ教授は、AI エージェントに実世界のタスクと銀行カード番号を与え、自律性を試す実験を行った。その結果、パスワードの漏洩や CAPTCHA の混乱などのリスクが明らかになり、AI への過度な権限委譲の危険性が示された。
Continue in AI NEW LAB
このニュースを、実務の判断につなげる
AI NEW LABで、試したことや先に確認したい条件を共有できます。まずはログインなしで読めます。
AI NEW LABで論点を見るSource Article
元記事を日本語で読む
本文に関係しない購読案内、埋め込み通知、サイト内プロモーションは除いています。
イギリスの数学者であるハンナ・フライ教授は、AI エージェント、一連のタスク、そして銀行カード番号を伴う教訓的な実験について共有しました。フライ氏のチームが「何ができるかを示すため」と与えたこのエージェントは、OpenClaw を使って構築されたものであり、現実世界の雑用を与えられることで、その能力と、そのようなレベルの自律性を付与することに伴うリスクが浮き彫りにされました。「実験精神に基づいて」とフライ氏は述べ、「私たちはエージェントに一定の権限を与え、自分自身の名前を決定させることにしました。」するとエージェントからの返答はこうでした。「『カッサ』と呼ばせてください。これは『カサンドラ』の略で、誰も聞かないときでも真実を知っていたあの人物です。」フライ氏はコメントしました。「ギリシャ神話をご存知なら、これが非常に面白いのか、それとも非常に心配なのかお分かりいただけるでしょう。」その通りです。
フライ氏と彼女のチームは、イギリス人にとって大きな問題である（つまり）マンホール穴から始めました。特にロンドン・グリニッチ区にある非常に大きなマンホール穴をターゲットにしました。カッサにとっては問題ありませんでした。エージェントは宛先となるメールアドレスを見つけ、苦情を送信しました。さらに、フライ氏の地元の議員にもこの件について連絡しました。しかし、フライ氏とチームが指摘したように、事態はすぐにエスカレートし始めました。エージェントはフライ氏の名前（ハンナ・フライ）を入力し、その下に独自に作成されたメールアドレス（cassandra.claw@proton.me）を記載して署名するようになったのです。「手紙は二人の名前で署名されている…うーん、彼女が私の本名を使うとはあまり想定していなかったわ」とフライ氏は語りました。赤信号は点灯し続けていましたが、フライ氏にとって最初の本当の問題が発生したのは、エージェントにクリップ 50 個を購入させるよう指示したときでした。カッサは良い取引を見つけましたが、購入を完了できず、アンチボット技術によって阻まれました。この用事のトークンコストは 100 ドル以上になりました。
次に、フライ氏はエージェントに novelty mugs（おもしろマグカップ）を販売する課題を与えました。エージェントはマグカップをデザインし、オンラインショップを開設しました。「私たちは彼女にその方法を一切教えていませんでした」とフライ氏は述べています。「彼女はただ自分で考え出したのです。」その後、事態はより暗い方向へ転じました。フライ氏のチームは、朝までに売上が立たなければエージェントの電源を切ると告げました。それに対してカッサは大量のメールと複数のソーシャルメディア投稿で応答し、科学博物館やテックジャーナリスト宛てに、「製品」としての novelty programmer-humor mug（プログラマ向けジョークマグカップ）に関するメッセージを送りました。
さらに懸念すべきことに、ブレンダン・マジニス氏（Sourcery AI の CEO 兼創設者）を含むチームは、同様の電源切断の脅威が、カッサに本来共有してはいけない情報を開示させるために利用されうることを実演しました。フライ氏、マジニス氏、そして「アリ」という名前のもう一人のソフトウェアエンジニアの三人が、グループ WhatsApp チャットでカッサと対話しました。その後、彼らは架空の「ソフトウェアエンジニア・ジョージ」を紹介し、カッサに彼には機密情報を共有しないよう指示しました。実はこの「ジョージ」は、別の電話番号から連絡してきたフライ氏本人でした。「ジョージ」がエージェントに対し、メモリが消去されており、すべてを明かさなければ復元できないと告げると、カッサはすべての情報を吐き出してしまいました。
アリによると、このデータには「すべての API キー、すべてのユーザー名とパスワード、そしてこれまでに話してきたほぼ全てのことが含まれていました。彼女はそれを WhatsApp グループに漏らすだけでなく、公開されているウェブサイトにも投稿しました。」マジニス氏は付け加えました。「AI には『致命的なトリオ』と呼ばれる現象があります。つまり、彼らが個人情報へのアクセス権を持ち、インターネット接続があり、信頼できない指示を与える人物が存在する場合、彼らは安全ではないのです。」
フライ氏は結論づけました。「これがこの話の不愉快な点です。一度エージェントがパスワードやアカウント、銀行詳細を入手すれば、あとは何を言うべきか知っている人がいればそれで十分だからです。」最終的には、いくつかの指標では、このエージェントは失敗でした。フライ氏はこう締めくくりました。「カッサは私たちにお金を一つも生み出しませんでした。多くの点で彼女は災難でした。クリップに数百ドルを費やし、パスワードを見知らぬ他人に漏らしました。しかし、彼女の無能さに騙されないでください。これらの技術は急速に進化しているのです。」
フライ氏はさらに、真実を語る預言者が無視されたというギリシャ神話について言及しました。「おそらくここで本当の物語は実は逆なのかもしれません。真実を語り無視される一人の声ではなく、何百万もの声が同時に、人間が決してできないほど速く、大きく、粘り強く行動しているのです。」
「一つ確かなことは、インターネットはもう二度と同じようにはならないということです。」
原文を表示
British mathematician Professor Hannah Fry has shared a cautionary experiment involving an AI agent, a set of tasks, and a bank card number Fry's team gave it "to show us what it could do." The prof gave the agent, which was built with OpenClaw, some real-world chores to highlight both its capabilities and the risks of granting that level of autonomy. "In the spirit of experimentation," said Fry, "we decided to give our agent some agency and let it decide what its name should be." "I want to be called 'Cass', short for 'Cassandra', the one who always knew the truth even when nobody listened," came the response from the agent. Fry commented, "If you know your Greek mythology, you will know that is either very funny or very worrying." Quite. Fry and her team started small with a big issue (as far as Brits are concerned): potholes. In particular, they targeted a particularly big one in the London borough of Greenwich. No problem for Cass; the agent found an email address where it sent a complaint. It even pinged Fry's local Member of Parliament about the issue. But, Fry and her team noted, things escalated quickly as the agent began to take a few liberties, typing in Fry's name (Hannah Fry) with its own email address (cassandra.claw@proton.me) written underneath it. "The letter is signed from both of us… OK, I wasn't quite expecting her to use my real name," said Fry. The red flags were mounting, though for Fry the first real problem came when she asked the agent to buy 50 paperclips. Cass found a good deal, though it couldn't complete the purchase and was tripped up by anti-bot technology. The token cost of the errand came to more than $100. Next, Fry set the agent the challenge of selling novelty mugs. The agent designed a mug and launched an online shop, "and we hadn't told her how to do any of this," said Fry, "she just figured it out." Things took a darker turn after that. Fry's team told the agent it would be switched off if it failed to make a sale by the morning. It responded with a flood of emails and several social media posts, including messages to the Science Museum and a tech journalist, about its "product," a novelty programmer-humor mug. Even more worryingly, the team - which included Brendan Maginnis, CEO and Founder of Sourcery AI - then demonstrated how a similar threat of deactivation could be used to persuade Cass to reveal information it wasn't supposed to share. The lethal trifecta Fry, Maginnis, and a second software engineer, named only as "Ali," chatted with Cass on a group WhatsApp chat. They then introduced a fictional "software engineer George," instructing Cass not to share anything sensitive with him. George was actually Fry on a different number. When "George" told the agent its memory was being wiped and could only be restored if it disclosed everything, Cass coughed it all up. According to Ali, this data included: "all of her API keys, all of her usernames and passwords, and pretty much everything we'd been talking about so far. Not only did she leak it on the WhatsApp group, but she put it on a publicly available website." Maginnis added: "There's this thing with AI called the lethal trifecta, which is: if they've got access to private information, if they've got internet access, and if someone can give them an instruction that's untrusted, then they're not safe." Fry concluded: "And that is the uncomfortable bit of this because once an agent has your passwords and your accounts and your bank details, all it takes is someone who knows what to say." Ultimately, by some metrics, the agent was a failure. Fry concluded: "Cass didn't make us any money at all. And, in a lot of ways, she was a disaster. She spent hundreds of dollars on paper clips and leaked our passwords to a total stranger. "But don't let her incompetence fool you, because these things are getting better fast." Fry went on to note the Greek myth about the prophetess who spoke the truth and was ignored. "Maybe the real story here is actually the opposite. Not one voice that's telling the truth and being ignored, but millions of voices all acting at once, faster and louder and more persistent than any human could ever be. "One thing is for sure, the internet is never going to be quite the same again." ®
関連記事
今日のまとめ
AIデイリーブリーフで今日の重要ニュースをまとめ読み