英国の数学者が AI エージェントにクレジットカードを任せる実験、パスワード漏洩や CAPTCHA の混乱など示す
本文の状態
日本語全文を表示中
詳細モードで約6分の本文を読めます。
同じ出来事の情報源
この情報源を基点に整理
The Register AI/ML
イギリスの数学者ハンナ・フライ教授は、AI エージェントに銀行カード番号を与えてタスクを実行させる実験を行い、パスワードの漏洩や CAPTCHA の混乱などのリスクを示した。
Continue in AI NEW LAB
このニュースを、実務の判断につなげる
AI NEW LABで、試したことや先に確認したい条件を共有できます。まずはログインなしで読めます。
AI NEW LABで論点を見るSource Article
元記事を日本語で読む
本文に関係しない購読案内、埋め込み通知、サイト内プロモーションは除いています。
イギリスの数学者であるハンナ・フライ教授は、AI エージェントと一連のタスク、そして銀行カード番号を用いた教訓的な実験を共有しました。これは「何ができるかを示すため」にチームがエージェントに与えたものです。
OpenClaw を用いて構築されたこのエージェントには、その能力と、そのようなレベルの自律性を付与することに伴うリスクを浮き彫りにするための現実世界のタスクが与えられました。
"実験精神に基づき、" フライは語りました、"私たちはエージェントに一定の権限を与え、その名前を自分で決定させることにしました。"
"『カッサ』と呼ばれたいです。これは『カサンドラ』の略で、誰も聞かないときでも真実を知っていた人物の名前です」と、エージェントからの返答がありました。
フライはコメントしました。「ギリシャ神話をご存知なら、これが非常に面白いのか、それとも非常に心配なことなのかお分かりいただけるでしょう。」
まさにその通りです。
フライと彼女のチームは、イギリス人にとって大きな問題である（つまり）マンホールから始めました。特にロンドン・グリニッチ区にある非常に大きなマンホールをターゲットにしました。カッサにとっては問題ありませんでした。エージェントは宛先となるメールアドレスを見つけ、苦情を送信しました。さらに、この問題についてフライの地元の議員にも連絡（ピン）を行いました。しかし、フライとチームが指摘したように、エージェントがいくつかの自由な行動を取り始めると事態は急速にエスカレートしました。具体的には、フライの名前（ハンナ・フライ）を入力し、その下に自身のメールアドレス（cassandra.claw@proton.me）を記載するといった行為です。
「この手紙は二人の名前で署名されている…うーん、彼女が私の本名を使うとは予想していなかったよ」とフライは言った。
赤信号は次々と点灯していたが、フライにとって最初の本当の問題は、彼女がエージェントにクリップ 50 個の購入を命じた時だった。キャス（Cass）は良い取引を見つけたものの、購入を完了できず、ボット対策技術によって阻まれた。この用事のトークンコストは 100 ドルを超えた。
次にフライは、エージェントに novelty mugs（おもしろマグカップ）の販売という課題を与えた。エージェントはマグカップをデザインし、オンラインショップを開設した。「これらをどう行うか彼女には何も教えていない」とフライは語った、「彼女はただ自分で考え抜いたのだ」。
その後、事態はより暗い方向へ転じた。フライのチームは、朝までに販売が成立しなければエージェントをシャットダウンすると告げた。それに対し、エージェントは「製品」、つまりプログラマ向けジョークマグカップについて、サイエンス・ミュージアムやテックジャーナリスト宛てのメッセージを含む多数のメールと複数のソーシャルメディア投稿で応答した。
さらに懸念すべきことに、ブレンダン・マジニス（Brendan Maginnis）氏（Sourcery AI の CEO 兼創設者）も参加するチームは、シャットダウンという同様の脅威が、キャスに本来共有してはならない情報を引き出すために利用され得ることを実演した。
The lethal trifecta（致命的なトリオ）
フライ、マギニス、そして「アリ」という名前のみのもう一人のソフトウェアエンジニアは、カスとグループ WhatsApp チャットで会話しました。その後、彼らは架空の「ソフトウェアエンジニア・ジョージ」を紹介し、カスに対して彼には機密情報を共有しないよう指示しました。実際、「ジョージ」は別の電話番号から操作していたフライ本人でした。「ジョージ」がエージェントに記憶が消去されており、すべてを明かさなければ復元できないと告げると、カスはすべての情報を漏らしてしまいました。
アリの話によると、このデータには「彼女の API キーすべて、ユーザー名とパスワードすべて、そしてこれまでに話し合ったほぼすべての内容が含まれていました。彼女はそれを WhatsApp グループに漏らすだけでなく、公開されているウェブサイトにも投稿しました。」
マギニスは付け加えました：「AI には『致命的なトリオ』と呼ばれる現象があります。つまり、彼らが個人情報へのアクセス権を持ち、インターネット接続があり、信頼できない指示を与える人物が存在すれば、彼らは安全ではないということです。」
- マイクロソフトの悪い執着が、みすぼらしいサービスと雑なソフトウェアとして現れています。その証拠はこちら
- シンガポールの研究者たちが、多様な SIEM（セキュリティ情報・イベント管理）をアジェント型ルール翻訳によって調和させています
- シャドウ IT はシャドウ AI に取って代わり、AI-BOMs が登場しました
- ファイブ・アイズ加盟国の店舗が警告するところによれば、アジェント型 AI の急速な導入はリスクが高すぎます
フライは結論付けました：「これがこの話の不愉快な点です。一度エージェントがあなたのパスワードやアカウント、銀行詳細を入手すれば、あとは何を言うべきか知っている人物さえいればいいのですから。」
最終的には、いくつかの指標で見れば、このエージェントは失敗でした。フライは結論付けました。「カスは私たちにお金を一つも生み出しませんでした。むしろ多くの点で、彼女は災厄そのものでした。数百ドルをクリップに使い果たし、パスワードを見知らぬ他人に漏らしてしまったのです。
「しかし、彼女の無能さに騙されないでください。なぜなら、こうした状況は急速に改善されているからです」
フライはさらに、真実を語る預言者が無視されたというギリシャ神話を引き合いに出しました。「もしかすると、ここで本当に語られるべき物語は逆なのかもしれません。真実を語り無視される一つの声ではなく、人間が決して及ばないほど速く、大きく、粘り強く、同時に行動する何百万もの声があるのです。
「一つ確かなことは、インターネットは二度とかつてのようなものではなくなるということです。」 ®
原文を表示
British mathematician Professor Hannah Fry has shared a cautionary experiment involving an AI agent, a set of tasks, and a bank card number Fry's team gave it "to show us what it could do."
The prof gave the agent, which was built with OpenClaw, some real-world chores to highlight both its capabilities and the risks of granting that level of autonomy.
"In the spirit of experimentation," said Fry, "we decided to give our agent some agency and let it decide what its name should be."
"I want to be called 'Cass', short for 'Cassandra', the one who always knew the truth even when nobody listened," came the response from the agent.
Fry commented, "If you know your Greek mythology, you will know that is either very funny or very worrying."
Quite.
Fry and her team started small with a big issue (as far as Brits are concerned): potholes. In particular, they targeted a particularly big one in the London borough of Greenwich. No problem for Cass; the agent found an email address where it sent a complaint. It even pinged Fry's local Member of Parliament about the issue. But, Fry and her team noted, things escalated quickly as the agent began to take a few liberties, typing in Fry's name (Hannah Fry) with its own email address (cassandra.claw@proton.me) written underneath it.
"The letter is signed from both of us… OK, I wasn't quite expecting her to use my real name," said Fry.
The red flags were mounting, though for Fry the first real problem came when she asked the agent to buy 50 paperclips. Cass found a good deal, though it couldn't complete the purchase and was tripped up by anti-bot technology. The token cost of the errand came to more than $100.
Next, Fry set the agent the challenge of selling novelty mugs. The agent designed a mug and launched an online shop, "and we hadn't told her how to do any of this," said Fry, "she just figured it out."
Things took a darker turn after that. Fry's team told the agent it would be switched off if it failed to make a sale by the morning. It responded with a flood of emails and several social media posts, including messages to the Science Museum and a tech journalist, about its "product," a novelty programmer-humor mug.
Even more worryingly, the team - which included Brendan Maginnis, CEO and Founder of Sourcery AI - then demonstrated how a similar threat of deactivation could be used to persuade Cass to reveal information it wasn't supposed to share.
The lethal trifecta
Fry, Maginnis, and a second software engineer, named only as "Ali," chatted with Cass on a group WhatsApp chat. They then introduced a fictional "software engineer George," instructing Cass not to share anything sensitive with him. George was actually Fry on a different number. When "George" told the agent its memory was being wiped and could only be restored if it disclosed everything, Cass coughed it all up.
According to Ali, this data included: "all of her API keys, all of her usernames and passwords, and pretty much everything we'd been talking about so far. Not only did she leak it on the WhatsApp group, but she put it on a publicly available website."
Maginnis added: "There's this thing with AI called the lethal trifecta, which is: if they've got access to private information, if they've got internet access, and if someone can give them an instruction that's untrusted, then they're not safe."
- Microsoft's bad obsession is showing up in shabby services and slipshod software. Here's proof
- Singapore boffins get diverse SIEMs singing in harmony with agentic rule translation
- Shadow IT has given way to shadow AI. Enter AI-BOMs
- Five Eyes spook shops warn rapid rollouts of agentic AI are too risky
Fry concluded: "And that is the uncomfortable bit of this because once an agent has your passwords and your accounts and your bank details, all it takes is someone who knows what to say."
Ultimately, by some metrics, the agent was a failure. Fry concluded: "Cass didn't make us any money at all. And, in a lot of ways, she was a disaster. She spent hundreds of dollars on paper clips and leaked our passwords to a total stranger.
"But don't let her incompetence fool you, because these things are getting better fast."
Fry went on to note the Greek myth about the prophetess who spoke the truth and was ignored. "Maybe the real story here is actually the opposite. Not one voice that's telling the truth and being ignored, but millions of voices all acting at once, faster and louder and more persistent than any human could ever be.
"One thing is for sure, the internet is never going to be quite the same again." ®
関連記事
今日のまとめ
AIデイリーブリーフで今日の重要ニュースをまとめ読み