Discord、AI によるモデレーションバグが誤ってユーザーをBANしたことを認める

記事の3ポイント

1. 1

   大規模な誤BAN事案の発生

   Discord は AI 審査システムの不具合により、過去 2 ヶ月で約 8,000 人のユーザーがスプレッドシートやチェス盤などの無害な画像を理由に不当にBANされたことを認めた。

2. 2

   誤判定の具体的な原因

   システムは既知の有害素材との類似性をマッチングさせる仕組みだが、グリッド状のパターンがNSFWや児童虐待コンテンツを隠蔽する際に使用される傾向があるため、過剰に敏感に反応して誤検知が発生した。

3. 3

   復旧と再発防止への対応

   Discord は影響を受けた全アカウントの復旧処理を進めており、同社は「より良いセーフガードを構築して再発を防ぐ」と表明している。