ストリーマーがリアルタイムディープフェイクアプリでミスタービーストになり、子供への不適切な発言を流す
英国のインフルエンサー Sam Pepper がリアルタイム深層学習アプリ「Delulu」を用いて、Mr. Beast に成りすまし児童性的虐待をほのめかす発言を行い、生成 AI の悪用とプラットフォーム規制の脆弱性が浮き彫りとなった。
キーポイント
リアルタイム深層学習の悪用事例
ストリーマー Sam Pepper が「Delulu」アプリを使用し、Mr. Beast や Jeffrey Epstein などの有名人に成りすまし、児童性的虐待をほのめかす非倫理的かつ名誉毀損的な発言を行った。
ユーザー生成コンテンツ（UGC）モデルのリスク
アプリ「Delulu」は George Floyd や Donald Trump など、有名人や政治人物を含む多数の「スキン」をユーザーが作成・共有できる仕組みであり、悪意あるコンテンツの拡散を容易にしている。
規制の緩いプラットフォームでの発生
今回の事案は、Twitch の競合であり比較的緩やかなモデレーションポリシーを持つ「Kick」プラットフォーム上で発生し、既存の監視体制の限界を示した。
大手ベンチャーキャピタルによる資金提供
このアプリを開発する Decart 社は Sequoia や Benchmark といった一流シリコンバレーの VC から 4.5 億ドル以上の資金調達を行っており、技術の普及と規制の遅れが対立している。
Delulu の利用規約の曖昧さ
同プラットフォームの利用規約には、他人の顔写真を使用することに関する明確な禁止事項は記載されておらず、知的財産権侵害への対応方針のみが示されている。
主要プラットフォームの反応欠如
Kick と Decart はペッパー氏の行為が規約違反に当たるかについてコメントを拒否しており、Twitch も即時回答を行っていない。
重要な引用
An app that allows users to deepfake their appearance in realtime has predictably resulted in a streamer making nonconsensual and potentially defamatory content.
The result is not as convincing as some other pieces of software... but is free and easy to use.
"to respect the legitimate rights of copyright and other intellectual property owners, and we will respond to clear notices of alleged copyright infringement."
Kick and Decart did not respond to requests for comment about whether Pepper's behavior was allowed on their platform.
影響分析・編集コメントを表示
影響分析
この事象は、生成 AI の民主化が進む中で、技術的アクセスの容易さが倫理的・法的リスクを劇的に増幅させることを示唆しています。特に、リアルタイムでの顔変換技術がストリーミングプラットフォームで悪用されるケースが増加しており、プラットフォーム運営者や規制当局に対する即座の対応と、開発企業における厳格な利用規約の実施が急務となっています。
編集コメント
技術の進歩が著しい一方で、この事例は「使いやすさ」が逆に「悪用しやすさ」に直結する危険性を浮き彫りにしています。開発企業とプラットフォーム運営者の責任あるガバナンスが、技術普及以前に問われる重要なケーススタディです。
imageリアルタイムでユーザーの外見をディープフェイク（画像合成）できるアプリが、予測通り、ストリーマーによる同意のない、かつ名誉毀損の恐れのあるコンテンツ作成につながりました。具体的には、そのストリーマーは自分自身をミスター・ビーストに見せかけ、「私は幼い男の子のおしっこを触るのが好きだ」と発言しました。
サム・ペッパーは、いわゆるいたずらとして人々を嫌がらせする動画や配信で知られるイギリスのインターネット有名人であり、複数のプラットフォームから追放された過去があります。彼は、緩やかなモデレーションポリシーで知られ、Twitch の競合他社であるストリーミングプラットフォーム「Kick」でこのリアルタイム・ディープフェイクアプリを使用しました。
当初、ペッパーは自分自身を一見ランダムな女性に見せかけましたが、その後、外見をミスター・ビースト、ジェフリー・エプスタイン、アモラント、そしてシドニー・スウィーニーといった実在の人物に切り替えました。女性が一人として登場した際、ペッパーは AI 生成された自分の体をカメラに見せ、彼女のスカートをめくり上げ、AI 生成された乳房を触り回しました。
Pepper が使用したアプリ「Delulu」は、ユーザーがアプリが「スキン」と呼ぶ顔のリストから任意の有名人として姿を現す機能を提供しており、その多くは Delulu のユーザーによって作成されたものです。Delulu のユーザーは、自分自身を動物やアニメキャラクター、架空のキャラクターのように見せることもできますが、George Floyd や Donald Trump、Vladimir Putin といった政治家、Kim Kardashian や Eminem といった有名人など、実在する人物にもなりすますことが可能です。また、このサイトには成人向けパフォーマンスを行う人々のためのスキンも含まれています。外観を変更するためにユーザーが行うべきことは、アプリにカメラへのアクセス権限を与え、これらのスキンのいずれかをクリックすることだけです。Civitai やカスタム AI モデルを共有するための他のプラットフォームやコミュニティと同様に、Delulu もユーザーが独自のモデルを作成し共有することを可能にしています。Stream で Pepper が見せたすべてのスキンは、すべてユーザー生成のものであるようです。
imageDelulu 上のいくつかのスキン
この結果は、リアルタイムで外観をディープフェイク（※deepfake）できる他のソフトウェアの一部ほど説得力はありませんが、無料で使いやすくなっています。例えば、私たちは最近、詐欺師向けに販売されている中国語対応のリアルタイムディープフェイクソフトウェア「Haotian AI」について記事を書きました。Haotian AI は数千ドルの費用がかかり、インストールも困難で、高性能なビデオカードを必要とします。
Delulu は、シーコイアやベンチャーキャピタルの Benchmark など、確立されたシリコンバレーの投資会社から数ラウンドにわたり 4.5 億ドル以上を調達している企業 Decart が提供する複数の AI ビデオ製品の一つに過ぎません。Decart はまた、MirageLSD という名前の AI ビデオジェネレーターと、Delulu に似たリアルタイムビデオ AI モデルである Lucy 2 も開発しています。Lucy 2 と Delulu の主な違いの一つは、Delulu がストリーマーを対象としている点です。
Delulu の利用規約には、プラットフォームを利用して他の実在人物の容姿を模倣することに関する記述はありませんが、「著作権およびその他の知的財産権者の正当な権利を尊重し、明白な著作権侵害の通知に対して対応する」という方針を明記しています。
Pepper の行動がそれぞれのプラットフォームで許可されているかどうかについて、Kick と Decart はコメント依頼に応じませんでした。
Decart は昨年の TwitchCon でリアルタイム AI ビデオ技術を披露しましたが、Delulu は紹介していませんでした。Twitch はコメント依頼に対して直ちに回答しませんでした。
原文を表示
imageAn app that allows users to deepfake their appearance in realtime has predictably resulted in a streamer making nonconsensual and potentially defamatory content. Specifically, the streamer made himself look like Mr. Beast and said “I love touching little boys’ pee pees.”
Sam Pepper, a British internet personality known for videos and streams in which he harasses people with so-called pranks, and who has been banned from multiple platforms, used the realtime deepfake app on Kick, a streaming platform and Twitch competitor known for its loose moderation policies.
Initially, Pepper made himself look like a seemingly random woman, but then switched his appearance to look like real people including Mr. Beast, Jeffrey Epstein, Amouranth, and Sydney Sweeney. When he appeared as one of the women, Pepper showed his AI-generated body to the camera, pulled up her dress, and played with her AI-generated breasts.
The app Pepper used, called Delulu, offers users the ability to appear as any of these celebrities out of a menu of likenesses the app calls “skins,” many of which are created by Delulu users. Delulu users can make themselves look like animals, cartoons, and fictional characters, but also real people like George Floyd, politicians like Donald Trump and Vladimir Putin, or celebrities like Kim Kardashian and Eminem. The site also includes skins for a number of adult performers. All users have to do to change their appearance is give the app access to their camera and click on one of these skins. Much like Civitai and other platforms and communities for sharing custom AI models, Delulu allows users to create and share their own models. All the skins Pepper showed on Stream appear to be user-generated.
imageSome of the skins on DeluluThe result is not as convincing as some other pieces of software that allow people to deepfake their appearance in real time, but is free and easy to use. For example, we recently wrote about Haotian AI, a Chinese-language realtime deepfake software that’s marketed to scammers. Haotian AI costs thousands of dollars, is difficult to install, and requires a powerful video card.
Delulu is just one of several AI video products from Decart, a company that has raised more than $450 million in several rounds of funding from established Silicon Valley venture capital firms like Sequoia and Benchmark. Decart also makes an AI video generator called MirageLSD, and a realtime video AI model called Lucy 2 similar to Delulu. One of the main differences between Lucy 2 and Delulu is that Delulu caters to streamers.
Delulu’s terms of use don’t say anything about people using the platform to take on the likeness of other real people, but does say its policy is “to respect the legitimate rights of copyright and other intellectual property owners, and we will respond to clear notices of alleged copyright infringement.”
Kick and Decart did not respond to requests for comment about whether Pepper’s behavior was allowed on their platform.
Decart presented realtime AI video tech, but not Delulu, at TwitchCon last year. Twitch did not immediately respond to a request for comment.
関連記事
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み