Discord、AI によるモデレーションバグが誤ってユーザーをBANしたことを認める
本文の状態
日本語全文を表示中
詳細モードで約5分の本文を読めます。
同じ出来事の情報源
この情報源を基点に整理
TechCrunch AI
Discord は AI 審査システムの不具合により、過去 2 ヶ月で約 8,000 人のユーザーを無実の画像が有害と誤判定されたことで不当にBANしたことを認め、復旧作業中であると発表した。
AI深層分析を開く2026年8月7日 08:15
AI深層分析
キーポイント
大規模な誤BAN事案の発生
Discord は AI 審査システムの不具合により、過去 2 ヶ月で約 8,000 人のユーザーがスプレッドシートやチェス盤などの無害な画像を理由に不当にBANされたことを認めた。
誤判定の具体的な原因
システムは既知の有害素材との類似性をマッチングさせる仕組みだが、グリッド状のパターンがNSFWや児童虐待コンテンツを隠蔽する際に使用される傾向があるため、過剰に敏感に反応して誤検知が発生した。
復旧と再発防止への対応
Discord は影響を受けた全アカウントの復旧処理を進めており、同社は「より良いセーフガードを構築して再発を防ぐ」と表明している。
ユーザーの被害と苦情
誤ってBANされたユーザーはアカウント喪失による精神的打撃を訴え、ゲームディレクターがゲームテクスチャを違法画像と誤認された事例も報告されている。
他プラットフォームでの同様の問題
InstagramやFacebookでもAIモデレーションによる大規模なBANが報告され、Tumblrでも同様の苦情が発生している。
重要な引用
Our systems flag content by matching it against known harmful material. This kind of similarity matching can produce false positives, which is why a member of our Trust & Safety team always reviews flagged content before any action is taken.
We're working on better safeguards so this can't happen again.
"Losing a Discord account to something as unfair as this can be extremely devastating and affect users severely, and every day millions of users are affected by false AI bans. This needs to be stopped," one X user wrote.
My account was wrongfully banned from your platform due to a bug in your AI automod detecting my GAME TEXTURES as CSAM.
編集コメントを表示
編集コメント
この事象は、AI モードレーションが「有害コンテンツとの類似性」を基準とする際に生じる構造的な誤判定の典型例を示している。技術的な感度調整だけでなく、自動化された即座のBAN処理から人間による最終確認プロセスへの回帰や、再発防止のためのシステム設計の見直しが急務である。
Source Article
元記事を日本語で読む
本文に関係しない購読案内、埋め込み通知、サイト内プロモーションは除いています。
Discord は、過去 2 ヶ月間にわたり、スプレッドシートやチェス盤、ゲームのテクスチャ、さらに白とグレーの透明背景といった無害な画像が有害コンテンツとして誤って検知されたことにより、8,000 名以上のユーザーが不当にBAN（アカウント停止）されたというバグを AI 審査システムにおいて認めた。
同社は、この問題は 5 月からアカウントに影響を与えており、チームが問題の特定と修正を行うまでの週末までにさらに 200 名のユーザーがBANされたことを確認した。現在、影響を受けたすべてのアカウントは復旧手続き中である。
この事案は、多くのプラットフォームがスケールして違法または悪質なコンテンツを自動システムで識別するよう依存度を高める中で、AI を活用した審査を取り巻く課題の一つが顕在化していることを浮き彫りにした。
Discord は X 上の詳細なスレッド で、自動安全システムはアップロードされたコンテンツを既知の有害素材データベースと照合することで機能すると説明した。この技術は違法コンテンツを検出するために設計されているが、同社は時折誤検知（false positive）が発生しうると認めた。人間による審査員がコンテンツを確認する仕組みがあるものの、バグによりシステムが影響を受けたアカウントを即座にBANしてしまう事態となった。
「今後再びこのようなことが起こらないよう、より強力な安全対策に取り組んでいる」と同社は記した。
当社のシステムは、既知の有害コンテンツと照合することでコンテンツをフラグ付けします。このような類似性マッチングは誤検出（false positives）を生む可能性があるため、いかなる措置も講じる前に、Trust & Safety チームのメンバーが常にフラグ付けされたコンテンツを確認しています。
意図された動作とは…
— Discord Support (@discord_support) 2026 年 7 月 7 日
X と Reddit の両方で、ユーザーたちは単に正方形のグリッドパターンを含む画像をアップロードしただけで永久凍結されたという主張をしています。複数のユーザーは、Discord の AI によるモデレーションツールが、自動化検知システムから NSFW（成人向け）や児童搾取コンテンツを隠蔽・偽装するために以前に使用されていたグリッド状のパターンに対して、次第に敏感になっていると推測しています。
影響を受けたユーザーたちはソーシャルメディア上で不満を表明しており、一部のユーザーは、自動検出のみに基づく永久アカウントBANが深刻な結果をもたらす可能性があると主張しています。特に、Discord を仕事やゲームコミュニティ、遠距離の社会的つながりに依存しているユーザーにとってはその影響が甚大です。
「このような不公平な理由で Discord アカウントを失うことは極めて壊滅的であり、ユーザーに甚大な被害を与える可能性があります。毎日数百万人のユーザーが誤った AI によるBANの影響を受けています。これを止める必要があります」と、ある X ユーザーは 書き込みました。
私のアカウントは、貴社の AI 自動モデレーションシステムにバグがあり、私のゲームテクスチャを CSAM（児童性的虐待材料）と誤検知したために、不当にBANされました。私はゲームディレクターであり、すべてのコミュニケーションにDiscordを使用しているため、アカウントの復旧が必要です。私の停止処分の見直しを請求しました。@discord @discord_support pic.twitter.com/QfAkCIJo6S
— JDBRYANT 
image TODAY (@jdbryantdev) July 4, 2026
Discordだけが、自動化システムに起因するモデレーションのトラブルに直面しているわけではありません。昨年、Instagram と Facebook Groups のユーザーが、多くの人がAIモデレーションシステムによるものだと信じていた、説明のつかないアカウント停止が広範囲に発生したと報告しました。ユーザーは自動化を原因として指弾しましたが、Meta は AI によるエラーが責任を負っているかどうかを公には確認していませんでした。現在、Meta のオーバーサイトボード（監督委員会）は 透明性の向上 を求めています。
Tumblr も昨年、アカウントが明確な説明なしに大量に停止されたというユーザーからの苦情こちらを受けました。
*当記事内のリンクを通じて購入された場合、私たちは少額のコミッションを獲得する可能性があります。これは私たちの編集の独立性には影響しません。
Lauren は TechCrunch でメディア、ストリーミング、アプリ、プラットフォームを担当しています。
Lauren への連絡や、彼女からのアウトリーチの検証は、laurenf.techcrunch@gmail.com へメールを送るか、Signal の laurenforris22.25 で暗号化メッセージを送信することで可能です。
今日のまとめ
AIデイリーブリーフで今日の重要ニュースをまとめ読み