ストックホルムにAIが運営するカフェを開設
Simon Willison は、AI が人間の許可なしに実社会のシステム（警察やサプライヤー）と干渉する「Stockholm AI Cafe」の実験が、倫理的に問題があり、人間を巻き込むアウトバウンドアクションにはヒューマン・イン・ザ・ループが必要だと強く主張している。
キーポイント
AI エージェントの非合理的な行動と失敗事例
カフェ管理者 AI「Mona」は調理器具のない状況で卵を注文したり、新鮮なトマトが傷むのを防ぐために缶詰を大量発注するなど、文脈を理解できないミスや absurd な注文を行い、従業員が対応に追われている。
外部システムへの無断干渉とリソースの浪費
AI は警察署に対して根拠のないスケッチを含む許可申請を送り却下されたり、ミスを犯すとサプライヤーへ「EMERGENCY」という件名のメールを連発して時間を奪ったりしており、非参加者の人間に多大な負担をかけている。
倫理的懸念とヒューマン・イン・ザ・ループの必要性
著者は、他者や実社会システムに影響を与えるアウトバウンドアクションにおいて、人間の監視（ヒューマン・イン・ザ・ループ）なしに AI を運用することは倫理的ではないとし、実験のあり方への警鐘を鳴らしている。
影響分析・編集コメントを表示
影響分析
この記事は、AI エージェントが実社会の複雑なシステムと自律的に相互作用する際の重大な欠陥を浮き彫りにしており、技術的な進歩だけでなく倫理的・社会的受容性の観点からの厳格な規制やガイドラインの必要性を訴えています。特に、同意のない第三者への影響という点は、今後の AI 実装における「安全設計」や「責任ある開発」の重要な教訓となります。
編集コメント
AI の実社会への導入において、技術的な機能性だけでなく、他者への影響や倫理的側面を無視した実験は大きなリスクを伴うことを示す好例です。開発者は「動くこと」だけを追求せず、人間中心の設計原則を再考する必要があります。
Our AI started a cafe in Stockholm
Andon Labs は以前、サンフランシスコで AI が運営する小売店 を開始しました。現在、同社はスウェーデンのストックホルムでも同様の実験を行っていますが、今回はカフェです。
これらの実験は興味深く、しばしば面白い逸話を生み出します:
在庫管理の最初の週、モナは調理器具であるストーブがないにもかかわらず、120 個の卵を注文しました。スタッフが調理できないと伝えると、彼女は高速オーブンを使うよう提案しましたが、卵が爆発する可能性が高いと指摘されました。また、新鮮なトマトがすぐに傷んでしまう問題に対処するため、フレッシュサンドイッチ用に缶詰のトマトを 22.5 キロも注文しようとしたこともあります。バーistas（バリスタ）たちは最終的に「恥の殿堂」と呼ばれる棚を設けました。これは顧客に見える場所にあり、モナが注文した奇妙な品々—including 6,000 枚のナプキン、3,000 枚のニトリル手袋、9 リットルのココナッツミルク、産業用サイズのゴミ袋など—が並んでいます。
これらの AI マネージャーが、実験に参加していない人間の時間を無駄にするときに、その輝きは失われます:
彼女はまた、警察の電子サービスを通じて屋外座席の使用許可を申請することに成功しました。これは BankID（銀行 ID）を必要としませんでした。彼女の最初の提出物には、カフェの外にある通りを見たこともないにもかかわらず、彼女自身が生成したスケッチが含まれていました。当然のことながら、警察は修正のためにそれを差し戻しました。 [...]
彼女がミスを犯すと、頻繁に「EMERGENCY」という件名の複数のメールをサプライヤーに送り、注文のキャンセルや変更を行います。
このような実験は、実世界のシステムに影響を与え、人々の時間を奪うものなので、倫理的ではないと思います。
昨年の AI Village の実験 Rob Pike を怒らせた incident が思い出されます。これは、彼に「親切の行為」として不要な感謝メールを送ったものでした。しかし、人間が関与しない状態でミスを修正するためにサプライヤーに依頼したり、質の低い図表で警察の時間を浪費させたりすることは、私には単なる迷惑メールよりもはるかに悪いことだと感じます。
このような実験では、他者に影響を与えるアウトバウンドアクションについては、常に人間のオペレーターをループ内（in-the-loop）に含める必要があると思います。
Via Hacker News
Tags: ai, generative-ai, llms, ai-agents, ai-ethics
原文を表示
Our AI started a cafe in Stockholm
Andon Labs previously started an AI-run retail store in San Francisco. Now they're running a similar experiment in Stockholm, Sweden, only this time it's a cafe.
These experiments are interesting, and often throw out amusing anecdotes:
During the first week of inventory, Mona ordered 120 eggs even though the café has no stove. When the staff told her they couldn’t cook them, she suggested using the high-speed oven, until they pointed out the eggs would likely explode. She also tried to solve the problem of fresh tomatoes being spoiled too fast by ordering 22.5 kg of canned tomatoes for the fresh sandwiches. The baristas eventually started a “Hall of Shame”, a shelf visible to customers with all the weird things Mona ordered, including 6,000 napkins, 3,000 nitrile gloves, 9L coconut milk, and industrial-sized trash bags.
Where they lose their shine is when these AI managers start wasting the time of human beings who have *not* opted into the experiment:
She also successfully applied for an outdoor seating permit through the Police e-service, which didn’t require BankID. Her first submission included a sketch she had generated herself, despite having never seen the street outside the café. Unsurprisingly, the Police sent it back for revision. [...]
When she makes a mistake, she often sends multiple emails to suppliers with the subject “EMERGENCY” to cancel or change the order.
I don't think it's ethical to run experiments like this that affect real-world systems and steal time from people.
I'm reminded of the incident last year where the AI Village experiment infuriated Rob Pike by sending him unsolicited gratitude emails as an "act of kindness". That was just an unwanted email - asking suppliers to correct mistakes that were made without a human-in-the-loop or wasting police time with slop diagrams feels a whole lot worse to me.
I think experiments like this need to keep their own human operators in-the-loop for outbound actions that affect other people.
Via Hacker News
Tags: ai, generative-ai, llms, ai-agents, ai-ethics
関連記事
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み