イスラム国がAIで死亡指導者を復活させ、プラットフォームはモデレートに失敗
イスラム国（IS）がAIを利用して死亡した指導者の動画を生成し、コンテンツモデレーションが後退したソーシャルメディアプラットフォーム上でそのプロパガンダ拡散戦略が成功していることが、研究機関ISDの報告書で明らかになった。
キーポイント
AIを利用した指導者の復活とプロパガンダ
イスラム国はAI技術を用いて死亡した指導者の新しい動画を生成し、オンライン上でその存在とメッセージを「復活」させる戦術を採用している。
プラットフォームのモデレーション後退と悪用
Metaなどの主要ソーシャルメディアプラットフォームは、コンテンツモデレーション体制を縮小・外部委託しており、その結果、ISのアカウントやコンテンツが検出・削除されずに拡散される環境が生まれている。
多様なプラットフォームへの適応と拡散戦略
ISはFacebookを中心としつつも、TikTok、Instagram、Telegram、さらにはDiscordのゲームチャンネルやMinecraft、Robloxなどのゲーム内にも進出し、古いコンテンツを新しいプラットフォーム向けに改変するなど、非常に適応力の高い拡散戦略を展開している。
高いエンゲージメントとブランディングの隠蔽
ISのFacebook動画は数万回の視聴を記録し、自動モデレーションを回避するためにISのブランディングをぼかすなどの工夫がなされている。
AIによる死者の復活とゲーム内でのプロパガンダ
ISはAIを使用して死亡した指導者を復活させた動画を作成し、またMinecraftやRobloxなどのゲーム内で仮想カリフ国を再現し、プロパガンダ動画を制作している。
モデレーションの後退とエンゲージメントの増加
プラットフォームのモデレーションが後退する中、IS関連アカウントのコンテンツへのエンゲージメント率が上昇しており、その原因は不明である。
ISのプラットフォーム移行戦略
ISはFacebookから追放されるとTikTokなど別のプラットフォームに移行し、活動を継続・拡大している。
影響分析・編集コメントを表示
影響分析
この記事は、AI技術の悪用が安全保障上の重大な脅威となり得ることを示す具体的事例であり、AI倫理とガバナンスの議論に新たな緊急性をもたらす。同時に、プラットフォーム企業のモデレーション政策とその社会的責任が、民主主義や公共の安全に直接影響を与えることを浮き彫りにしている。
編集コメント
AIの「ダークサイド」が安全保障領域で顕在化した衝撃的な事例。技術の進歩とガバナンス/モデレーションの後退が交差する危険な地点を描いている。
imageイスラム国（Islamic State）のオンライン戦士たちは、まだ投稿を続けている。このグループがラッカの戦いで敗北し、現実世界での領土野心が挫かれたのはほぼ 10 年前のことだ。現実世界で領土を維持できなくなった同グループは、投稿に焦点を再集中させ、AI を活用して亡くなった指導者を蘇らせる動きを開始した。さらに、ソーシャルメディアプラットフォームがコンテンツモデレーション（content moderation：コンテンツの審査・管理）業務を縮小したため、テロ組織の戦略は成功している。
イスラム国のオンラインでの成功の詳細は、過激派運動を研究する独立系研究機関である戦略対話研究所（Institute for Strategic Dialogue: ISD）による新しい報告書で明らかにされた。この調査において、研究者たちは Facebook、TikTok、Instagram、WhatsApp、Telegram、Element、SimpleX 上のイスラム国のアカウントを追跡した。その結果、ビデオゲームに特化した Discord チャンネルに投稿された動画や、グループが古いコンテンツを新しいプラットフォームに合わせてどのように修正しているかが把握された。
2026 年にオンラインで活動する他の多くと同様に、イスラム国は「エプスタイン・ファイル」について語ることで成功を収め、AI を用いて亡くなった指導者の新たな動画を生成し、メッセージをマインクラフト（Minecraft）やロブロックス（Roblox）のようなビデオゲームへと広げ始めた。
「彼らはプラットフォームを巧みに利用し、メッセージを広めることに非常に長けている」と、この研究の著者であり ISD の研究者であるムスタファ・アヤド氏は 404 Media に語った。同氏は、このグループがオンライン上で 10 年間活動しており、その成功の一部は実験への意欲によるものだと指摘した。
アイヤド氏は、Facebook が新たな領域への進出を推し進めているにもかかわらず、依然として IS の中心的なハブであると述べています。彼の調査では、Facebook 上に数万回の閲覧数を生み出した 350 の IS アカウントが発見されました。カメラに向かって話す IS 戦闘員の動画の一つは、77,000 回以上の再生と 101 件のシェアを記録しました。IS のブランディングはぼかされており、これはサイトの自動モデレーション（auto-moderation）を回避するためです。
アイヤド氏によると、イスラム国のエンゲージメント数はあらゆる分野で増加しています。「信頼と安全チームの人員削減が過去数年にわたって行われており……多くの業務が、コンテンツがイスラム国由来かどうかを理解する専門家ではない第三者企業へアウトソーシングされています」と彼は述べています。
Meta などのソーシャルメディア企業は、ドナルド・トランプ氏の選挙勝利を口実に、プラットフォームのモデレーションを削減しました。Meta はこれが「より多くの発言と、より少ない誤検知」を意味すると説明しています。テロリズムに関するポリシーに変更はありませんが、全体的に見れば最大のソーシャルメディアプラットフォームは、自社のサイトのモデレーションにおいて以前よりも劣った仕事を行っています。実際には、Facebook がイスラム国のようなグループがコンテンツモデレーションチームに抵触することなくメッセージを広める場所へと変貌してしまったのです。3 年前であれば、IS のインフルエンサーがサイト上で長く活動することはできなかったでしょう。
このモデレーションの撤回は、IS アカウントへの閲覧数が急増した時期と一致していると、報告書は主張している。「個々の IS『インフルエンサー』アカウントでは、テロリストコンテンツに対するエンゲージメント率が、以前に ISD 分析官が記録したものよりも高まっている」と報告書は述べている。「この増加が、モデレーションの隙間によるものなのか、プラットフォームの仕組みによるものなのか、それとも IS サポーターや支援団体・メディアによる特定の戦術的調整によるものなのかは不明である。」
「グレーゾーンにあるコンテンツについて話しているわけではありません」とアイヤド氏は言う。「非常に明確にブランド化されたイスラム国家であり…暴力を支持し、少数民族の殺害を支持し、爆撃の祝賀を行い、サハラ以南アフリカで起こっている略奪を支持しています。」
新しい動きとして、AI システムを活用して死去した指導者を蘇らせる事例が挙げられる。アイヤド氏は、死去した IS 指導者アブー・バクル・アル＝バグダディが再び演説を行う動画について説明した。
「これは、『愛される指導者』のために AI を使用 sanctioned なバージョンか、あるいは文脈から切り離して彼を美しい花々に囲まれた牧草地に置き、敬意を表するものだ」と彼は述べた。「これらの一部は奇妙なものである。」
現在の IS プロパガンダにおけるもう一つの人気トピックは、エプスタイン・ファイルである。アイヤド氏によると、ドナルド・トランプとビル・クリントンがベッドで親密にしている AI 生成の写真が、プラットフォーム上の IS アカウントで頻繁に登場するという。この写真は、おそらくエプスタイン・ファイルから引き出されたもの supposedly とされているが、実際には有名な偽物である。アイヤド氏は、エプスタインは「西洋の堕落」について語るために IS が利用した完璧な跳躍台であったと述べている。
アイヤドはまた、マインクラフトやロブロックスを使用して作成されたイスラム国の動画も目撃しています。「彼らはイスラム国のカリフ体制を模倣した仮想世界を作り上げており、実際に『ロブロックス州』のような名称を付けています……そして、有名なイスラム国動画の映像スタイルをロブロックスのキャラクターを使って完全に模倣します。これには偽装された処刑も含まれますし、イスラム国のナレーターと同じリズムでアラビア語と英語の吹き替えがなされています。」
イスラム国のプロパガンダの中で最も有名な作品の一つに、『炎の戦い：戦闘は始まったばかり』という映画があります。アイヤドはこの映画をロブロックスのキャラクターを使って 1:1 で再現したものを複数目撃しています。「これらは多くのユーザーがコンテンツを作成している Discord サーバーと結びついていることが多く、彼らは一貫して『これは偽物だ』や『ロールプレイ（LARP）だ』と主張します」と彼は言います。「これをビデオゲームのスキンで見ると、言うまでもなく奇妙です。」
イスラム国の投稿者を駆り立てるものは何でしょうか？「それは非常に『ゲームへの愛』のために行われています」とアイヤドは述べています。ユーザーとして、「物理的なジハードに参加できないかもしれないが、電子ジハード（electronic Jihad）には参加できる」という事実のために行動しているのです。
イスラム国を主要なソーシャルメディアプラットフォームから排除することは常なる戦いですが、この研究における一つの苛立たしい発見は、モデレーション回避のための戦術がほとんど変化していないということです。
「手法には、代替ニュースメディアを利用して IS のニュースを再ブランド化することや、登録者数の多いチャンネルを購入または乗っ取ることが含まれていました。これらはその後、IS のコンテンツを共有するために再利用されました。IS 支持者、グループ、およびメディアは暗号化された言語も使用しており、時としてこの組織を『ブラックホール』や『正義の少数派』と呼び、モデレーションの努力を混乱させます。」
オンライン上の IS に対抗するためには、プラットフォーム側が連携をより強化する必要があるとアイヤド氏は述べています。多くの場合、あるグループが Facebook から追放されると、TikTok や他のプラットフォームへ移動し、そこで繁栄します。また、すべての企業が自社のプラットフォームから誰を追放し、その理由についてより透明性を持つべきだと指摘しました。
「Europol は大規模な一斉撤去日を設けており、ある程度効果がありますが、現実問題としてイスラム国は多様なプラットフォームやメッセージングアプリケーションに広がっています。彼らは活動を別の場所へ移し、時を過ごし、そのプラットフォームで再生成することができます。これは平均的なユーザーに対処しているのとは異なり、自らのイデオロギーを広め、プラットフォームを自分の目的のために悪用しようとする決意を持ったユーザーに対峙しているのです。」
そして、古くからの言語の問題もあります。「未十分にモデレーションされている言語に対するより良いモデレーションが必要です」とアイヤド氏は言います。Facebook や他のプラットフォームは長年、英語以外の言語のモデレーションが極めて不十分でした。アラビア語やベンガル語で書かれた多くの悪質コンテンツが、その言語ゆえに見過ごされてしまっています。
原文を表示
imageThe Islamic State’s online warriors are still posting. It’s been almost a decade since the group lost the Battle of Raqqa and saw its IRL territorial ambitions thwarted. Unable to hold territory in the real world, the group renewed its focus on posting and has started using AI to resurrect dead leaders. And, because social media platforms have gutted their content moderation operations, the terror group’s strategy is working.
The Islamic State’s online success is detailed in a new report from the Institute for Strategic Dialogue (ISD), an independent research institution that studies extremist movements. For the study, researchers tracked IS accounts on Facebook, TikTok, Instagram, WhatsApp, Telegram, Element, and SimpleX. It found videos posted in Discord channels dedicated to video games and tracked how the groups have modified old content to fit on new platforms.
Like many others posting online in 2026, the Islamic State has found success by talking about the Epstein Files, using AI to create new videos of dead leaders, and has begun taking its message to video games like Minecraft and Roblox.
“They are very adept at exploiting platforms [and] spreading messages,” Moustafa Ayad, a researcher at ISD and author of this study, told 404 Media. He noted that the group has been active online for 10 years and that part of their success is a willingness to experiment.
Ayad said that Facebook remains a central hub for IS, despite its push into new spaces. His research discovered 350 IS accounts on Facebook that generated tens of thousands of views. One video of an IS fighter talking to camera had more than 77,000 views and 101 shares. The Islamic State branding is blurred to defeat the site’s auto-moderation.
According to Ayad, Islamic State’s engagement numbers are up across the board. “Trust and safety teams have been rolled back over the past few years…a lot of this is outsourced to third party companies who aren’t necessarily experts in understanding if a piece of content came from the Islamic State,” he said.
Social media companies like Meta used the election of Donald Trump as an excuse to cut back on moderating their platforms. Meta said this would mean “more speech and fewer mistakes.” No policies around terrorism have changed, but broadly speaking the largest social media platforms are doing a worse job at moderating their sites. In practice it’s turned Facebook into a place where a group like the Islamic State can spread its message without falling afoul of content moderation teams. Even three years ago, IS influencers wouldn’t have lasted long on the site.
This rollback of moderation has coincided with a spike in views for IS accounts, the report argues. “Individual IS ‘influencer’ accounts are experiencing higher engagement rates on terrorist content than previously recorded by ISD analysts,” the report said. “It is unclear if this uptick is due to moderation gaps, platform mechanics or specific tactical adjustments by IS supporters and support outlets and groups.”
“We’re not talking about content where there’s a gray area,” Ayad said. “It’s very clearly branded Islamic State…supports violence, supports the killing of minorities, the celebration of bombings, the pillaging that is happening in Sub Saharan Africa.”
Something new is the adoption of AI systems to resurrect dead leaders. Ayad described a video where the deceased IS leader Abu Bakr al-Baghdadi delivered speeches again.
“It’s a sanctioned version of using AI for a ‘beloved leader’ or taking him out of context and placing him in a meadow, surrounded by beautiful flowers, paying homage,” he said. “Some of these circles are strange.”
Another popular topic in current IS propaganda is the Epstein Files. According to Ayad, an AI-generated photo of Donald Trump and Bill Clinton canoodling in bed makes frequent appearances on IS accounts across platforms. The picture is, supposedly, pulled from the Epstein files but it’s a popular fake. Ayad said Epstein has been a perfect springboard for IS to talk about “western degeneracy.”
Ayad has also seen Islamic State videos created using Minecraft and Roblox. “They’re creating these virtual worlds that mimic the Islamic State’s caliphate, literally calling it something like Wilayat Roblox [the Province of Roblox] … and they’ll completely mimic the video styles of well-known Islamic State Videos using Roblox characters. This includes faux executions. It includes Arabic and English voiceover in the same cadence as an Islamic State narrator.”
One of the most famous pieces of Islamic State propaganda is a film called Flames of War: The Fighting Has Just Begun. Ayad has seen multiple 1 for 1 recreations of the film using Roblox characters. “They’re often tied to Discords where a number of users are creating this content. They always claim it’s fake or a LARP,” he said. “To see them in this video game skin is odd, to say the least.”
What drives an Islamic State poster? “It’s done very much for the love of the game,” Ayad said. It’s done for the fact that, as a user, ‘I might not be able to participate in physical Jihad but I can participate in electronic Jihad.’”
Keeping Islamic State off of major social media platforms is a constant battle, but one frustrating finding of the study is that the tactics for avoiding moderation haven’t changed much.
“Techniques included the use of alternative news outlets to rebrand IS news, as well as purchasing or hijacking channels with high subscriber bases. These were then repurposed to share IS content. IS supporters, groups and outlets also use coded language: they sometimes referred to the group as ‘black hole’ or the ‘righteous few’ to confound moderation efforts.”
To fight back against IS online, Ayad said that platforms needed to be better at coordination. Often a group is kicked off of Facebook so it moves to TikTok or another platform where it flourishes. He also said that all the companies need to be more transparent about who they’re kicking off their platform and why.
“Europol does these big takedown days and they’re effective to a certain degree but the fact of the matter is that the Islamic State is spread across an expanse of different platforms and messaging applications,” he said. “They’re able to shift operations to another place, wait it out and regenerate on that platform…it’s not like you’re dealing with an average user, you’re dealing with a user that’s determined to spread their ideology and exploit your platform to their own ends.”
And then there’s the old problem of language. “There needs to just be better moderation of under-moderated languages,” Ayad said. Facebook and other platforms have long been terrible at moderating non-English languages. A lot of rancid content online gets a pass because it’s in Arabic or Bengali.
関連記事
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み