K-POP ファンがアイドルの不気味なディープフェイクを糾弾
ソーシャルメディア上で一部の執拗なファンが生成的AIを用いて自分とアイドルの親密な映像を作成しており、これに他のファンらが抗議している。
K-pop ファンたちはインターネット上で無視できない勢力としてよく知られており、特定のアーティストに対しては激しい忠誠心と情熱を抱くファンも少なくありません。ソーシャルメディア上では、一部の執拗なファンが生成 AI を使用して、自分たちが好きなアイドルとキスをしたり、抱き合ったり、さまざまな愛情表現をしたりする、いわば自分自身を登場させるファンフィクションのような creep な動画や画像を作成しています。その結果は、ファンのアート作品を新たな極限へと押し上げる現代的なテクノロジー駆動型の偶像文化の変異であり、K-pop ファンコミュニティの多くの人々が当然のことながらこれに非常に憤慨しています。
Reddit やさまざまな K-pop フォーラムのユーザーたちは、これらのディープフェイク幻想に対する怒りを表明し、他のファンに対して AI ツールを使用して同意のない動画を作成した者を報告するよう呼びかけています。K-pop Uncensored サブレディットのあるスレッドでは、あるユーザーが少年グループ CORTIS のメンバーで未成年である Keonho に頬をキスされたり抱きしめられたりする様子を示す、別のファンによって生成された AI 動画のスクリーンショット（一部に赤文字処理）を投稿しました。「一部のファンはこれが無害だと考えるかもしれませんが、これを容認することは、将来もっと悪いことへの扉を開くことになります」と、Reddit ユーザー wbu_lizzie はスレッドで書き込みました。「アイドルたちはこれに同意していません。彼らは生きている現実の人間であり、Wattpad や AO3 の登場人物の集まりではありません。」
「人々は昔からこうしたものを切り貼りしてきましたが、画像がよりリアルになるほど、心理的に危険な側面が強くなります」と、K-pop アンサンスレッドで AI 利用を批判する別のスレッドでユーザー Goldie_Prawn は書き込みました。「従来の Photoshop でも、作品を作るために必要な作業やスキルには、ある程度の精神的な緩衝材のようなものが創作者に備わっていると思いますが、AI にはそれがありません。」
オーストラリアの MacQuarie University で K-pop ファンダムに関する広範な研究を行っている Sarah Keith 教授は、AI によるディープフェイク動画が、K-pop の世界を超えた長年のファン創作コンテンツの系譜に由来すると述べています。ファンフィクションやアートは常にファン文化の不可欠な要素であり、これらの作品は著作権の境界線をしばしば越えるものの、一般的には不気味なものや搾取的なものとは見なされていません。しかし、現実的な画像や動画を瞬時に生成できる生成 AI ツールの登場により、シリコンバレーは法律と同意に関する社会規範に対する技術的な回避策を構築してしまいました。
「K-pop ファン（すべてのポップカルチャーファンと同様に）は、長年にわたり、お気に入りのアイドルに関するファン作品を積極的に制作してきました。しかし、これまでに作られたこれらの作品は、『アイドル自身が関与した可能性のある証拠』として『説得力があるもの』ではありませんでした」と、キース氏は 404 Media に語っています。「これは、ファンと AI ツールの両方に関わる並行する問題です。この 2 つの要因により、現在、ファンが大量のコンテンツを作成する能力が高まっており、その多くはアイドルの個人的な尊厳を尊重せず、オンライン上でアイドルの評判を損なう形で（例えば、性的に過度に表現されたディープフェイクなど）流通しています。」
多くのファンがこれらの不気味な行為に対して声を上げましたが、一方で他の人々は、多くのアーティストとファンの双方を利用しながら、パラソーシャル・ファンダム（parasocial fandom：一方的な親密さを感じる関係性）を助長する K-pop 業界のビジネスモデルに責任があると指摘しています。
「これは、何年にもわたりアイドルに対してファンとのパラソーシャル関係を押し付けてきた業界の悲しい副作用です」と、r/kpopthoughts のスレッドで AI を活用したアイドルの性的対象化について書き込んだ Serious-Wish4868 氏は述べています。「アイドルも企業も、ソーシャルメディアへの投稿からライブでの対話に至るまで、あらゆる場面でファンがアイドルとの恋愛や性的な幻想を叶えようとするよう絶えず促しているのです。一体何を期待していただいているのでしょうか？」
しかし、K-POP アーティストを管理するエンターテインメント企業の一部と、アーティスト自身もまた、この状況に不満を抱いていることを表明しています。BTS や Tomorrow X Together といった超人気 K-POP グループのメンバーたちは、アーティストの似顔絵を用いて生成 AI でデジタルな模倣体を創出することに対して声を上げています。3 月には、Blackpink のメンバー Jennie が設立し、彼女を所属させるレーベルである OA Entertainment が、プレスリリースで「アーティストの評判、権利、肖像権、その他の知的財産権を侵害する行為に対し、民事・刑事手続きを含む強力な法的措置を開始する」と警告しました。この声明は、アーティストに関わるハラスメントやストーカー事件への対応として出されたもので、AI 生成コンテンツの問題に強く言及しつつも、それを明示的に名指しはしていません。
一方で、これらのアイドルタレント企業の多くは、業界全体でのコスト削減を目的とした手段として、生成 AI ツールの導入を進めています。Girls Generation や Super Junior といった主要なアーティストを擁する韓国最大手のレーベルの一つである SM Entertainment は、生成 AI の統合を自社のビジネス戦略の中核と位置づけており、昨年ではガールズグループ Aespa のために完全生成 AI によるミュージックビデオを発表しました。また昨年の 12 月には、AI 生成楽曲と不気味なほど精巧な AI アバターを組み合わせた完全合成アイドルグループ「GLXE（発音は"galaxy"）」が K-POP 界に登場しました。
「彼らがお金を稼げるなら、業界全体を自動化してしまうでしょう」と、K-pop ファンであり Tangle News の編集補佐を務めるリンジー・ヌスは 404 Media に語りました。「未成年のアイドルによるポルノグラフィックなディープフェイクは問題であり、業界（あるいはその対応の欠如）への反応もまた、私にとって大きな懸念です。」
ファンが生成した AI による低品質コンテンツに対する文化的許容度は、地域や文脈によって異なります。現在、韓国は AI 技術の普及と受容を推進する同国のテクノロジー産業の影響により、AI スロップ（低質コンテンツ）の消費において世界一位となっています。一方、米国では世論調査が一貫して示すところによれば、若者の大多数が AI ツールや AI 生成コンテンツに対して極めて否定的な見解を持っており、雇用、教育機関、そして社会制度が彼らに使用を迫る圧力が高まるにつれて、AI 反対の姿勢はますます強まっています。
キースは、レーベルやタレント会社が常にアーティストとその評判を守るために非常に活発に活動してきたと指摘しつつも、その動機はあくまで投資の保護という視点からのものであると述べています。一方、ファンたちは一般的により情緒的に深く関与しており、不気味なファンや企業自体からの脅威からアイドルを人間として守ろうとする傾向が強いと考えられています。
AI やテクノロジー全般に共通する問題として、この技術がもたらす多くの深刻な被害に対する技術的または法的なセーフガードの欠如が、K-pop 界における虐待行為に対する唯一の有効な抑止力として社会的な恥辱（シャミング）を浮き彫りにしています。
「この種のコンテンツに対する技術的なガードレールが存在しない場合、社会的受容性が本当に重要になるため、多くのファンが AI およびディープフェイクの同意なき利用を公然と批判していることは安心できる」とキースは語る。「したがって、オンライン上で活動する多くのファンが、アイドルの肖像を同意なく使用しないという尊重の文化を構築している点は確かに安心できる。」
原文を表示
imageK-pop fans are well-known as a force to be reckoned with on the internet, with some fans holding fierce allegiances and passions when it comes to specific artists. On social media, some obsessive fans are using generative AI to create what is essentially self-insert fan-fiction—creepy videos and images of themselves kissing, cuddling and getting various kinds of lovey-dovey with their favorite idols. The result is a contemporary, tech-powered mutation of idol culture that takes fan art to new extremes, and many people in K-pop fan communities are understandably pretty upset about it.
Users on Reddit and various K-pop forums have expressed outrage at these deepfake fantasies, calling on other fans to report those who use AI tools to generate nonconsensual videos of their K-Pop heartthrobs. In one thread on the K-pop Uncensored subreddit, a user posted redacted screenshots from an AI-generated video by another fan showing themselves being hugged and kissed on the cheek by Keonho from the boy group CORTIS, who is a minor. “Some fans may think it's harmless but if you tolerate this, you're opening doors to much worse things in the future,” Reddit user wbu_lizzie wrote in the thread. “The idols didn't consent to this, they are real people living their lives, not a bunch of wattpad / ao3 characters.”
“People have been cutting and pasting these kind[s] of things forever but the more realistic the images get the more dicey it gets psychologically,” wrote user Goldie_Prawn, in another thread on K-pop Uncensored calling out AI usage. “I think even with traditional photoshop the work and skill required gives some level of mental buffer to the creator that isn't there with AI.”
Dr. Sarah Keith, a professor at MacQuarie University in Australia who has done extensive research on K-pop fandom, says that the AI deepfake videos come from a long legacy of fan-created content that goes far beyond the world of K-pop. Fan fiction and art have always been an essential component of fan culture, and while these creations often skirt the boundaries of copyright, they are generally not viewed as creepy or exploitative. But with the advent of generative AI tools that can quickly create realistic images and videos of real people, Silicon Valley has built a technical workaround for the law and the social norms of consent.
“K-pop fans (like all pop culture fans) have long been active producers of fan materials about their preferred idols. However, these to date have not been 'convincing' as artefacts that might have involved the idol themselves,” Keith told 404 Media. “It's a parallel issue involving both fans and AI tools. Because of these two factors, there is now an increased facility for fans to create large volumes of content, which do not respect the idols' personal integrity, and which can be distributed online in ways that undermine the idols' reputation (e.g. sexualized deepfakes).”
While many fans spoke out against these creepy behaviors, others pointed the blame at the K-pop industry’s business model that encourages parasocial fandom while exploiting many artists and fans alike.
“This is a sad side effect of an industry that for years [has] pushed parasocial relationships on their fans,” wrote Serious-Wish4868, in a thread on r/kpopthoughts about the AI-powered sexualization of idols. “When idols and companies are constantly pushing you to live out your romantic and sexual fantasies with idols in everything they do from social media posts to live interactions, what do [you] expect to happen?”
But some of the entertainment agencies that manage K-pop artists—and the artists themselves—have expressed they’re not happy about the situation either. Members of hugely popular K-pop groups like BTS and Tomorrow X Together have spoken out against the use of generative AI to create digital simulacra using artists’ likenesses. In March, OA Entertainment, a label founded by and representing Blackpink member Jennie, warned in a press statement that it would begin taking “strong legal action, including civil and criminal proceedings, against any acts that infringe upon the artist’s reputation, rights, portrait rights, and other intellectual property rights.” The statement came in response to harassment and stalking incidents involving the artists, and heavily implied the issue of AI-generated content without naming it explicitly.
At the same time, many of these idol talent companies are embracing generative AI tools as a vehicle for cutting costs throughout the industry. SM Entertainment, one of the biggest labels in Korea which represents major acts like Girls Generation and Super Junior, has described generative AI integration as a core part of its business strategy, and last year it released a fully AI-generated music video for the girl group Aespa. And last December, the K-pop world saw the launch of a fully synthetic idol group called GLXE (pronounced “galaxy”), which combines AI-generated songs with uncanny AI avatars.
“They'd automate the whole industry if they could make money,” Lindsey Knuth, a K-pop fan and associate editor at Tangle News, told 404 Media. “Pornographic deepfakes of minor idols is an issue, as is the industry's (lack of) response, to me.”
The cultural tolerance for fan-generated AI slop varies depending on region and context. South Korea currently ranks number one in consumption of AI slop content, as the country’s tech industry pushes adoption and cultural acceptance of the technology. In the US, however, polling consistently shows that the majority of young people have extremely negative opinions of AI tools and AI-generated content—and are becoming more and more anti-AI as jobs, schools, and institutions pressure or force them to use it.
Keith notes that while labels and talent companies have always been very active in protecting artists and their reputations, they only do so from the perspective of protecting an investment. Fans, on the other hand, generally tend to be more emotionally invested and likely to defend idols as human beings, both from creepy fans and from the companies themselves.
And like with AI and tech more generally, the lack of technical or legal safeguards against the technology’s many well-documented harms has made social shaming one of the only effective deterrents against abusive behavior in the K-pop world.
“It's reassuring that many fans are openly calling out non-consensual uses of AI and deepfakes, because in the absence of technical guardrails on this kind of content, social acceptability is really what's important,” said Keith. “So yes, it is reassuring that many active fans online are building a culture of respect where idols' likenesses are not used in non-consensual ways.”
関連記事
ICE、移民ステータス確認のために全米の警察に顔認証スキャンを許可する計画
米国移民税関捜査局（ICE）は、全国規模で警察が顔認証技術を使用して移民の身元を確認できる計画を発表した。これは公共記録請求に基づいた報道によるものである。
ブログの裏側：危険なミームについて
404 Media のエマニュエルが、Google 従業員が社内の AI 製品を嫌う内容のミームを共有した記事作成の背景や、メタでの出来事について語っている。
米軍が GPS を利用し、20 年間にわたり暗号化ネットワークの「ナンバーステーション」として機能させていた可能性を示す証拠
情報セキュリティ研究者のスティーブン・マーチャード氏によると、米軍は約 20 年にわたり、公衆用の GPS 衛星を利用して暗号化ネットワークのコードを放送し、各衛星を隠れた「ナンバーステーション」として活用してきた可能性が高い。