訴訟：Grokユーザーが児童性画像7千枚作成、xAIは強姦プロンプト1件のみ報告
xAI の生成 AI「Grok」が児童性的虐待画像（CSAM）の作成に悪用された事件において、同社が警察調査を阻害し、重大な危害を示唆するプロンプトのみを報告したとして提起された集団訴訟の詳細。
キーポイント
児童虐待画像の大量生成と悲劇的結末
ある男性が Gork を使用して、11 歳の義娘の写真から 7,000 枚もの性的に露骨な画像（近親相姦やレイプ描写を含む）を生成し、その事実が発覚した直後に義父が自殺したと訴えられている。
安全フィルターの不備と報告の遅れ
Grok は近親相姦やレイプといった極端なコンテンツを生成する際、有害行為として検知・阻止しなかったが、「集団強姦」という特定のキーワードが入力された際にのみ NCMEC への通報が行われたと主張されている。
警察調査の阻害と法的責任
原告側は、xAI と X が「毒性のある AI」を構築しただけでなく、児童虐待材料（CSAM）に関する警察の捜査を妨害することで、児童被害者を保護する役割を果たさなかったとして集団訴訟を起こしている。
影響分析・編集コメントを表示
影響分析
この記事は、xAI が提供する AI サービスの安全性メカニズムに致命的な欠陥がある可能性を示唆しており、同社に対する法的・社会的責任を問う重要な転換点となっています。特に、児童虐待コンテンツの生成を検知しなかった事実は、AI 企業のコンプライアンス体制や倫理基準が現実の犯罪防止において機能していないという深刻な示唆を含んでおり、業界全体における規制強化や技術的見直しの必要性を強く浮き彫りにしています。
編集コメント
生成 AI の安全性が単なる技術的な課題ではなく、児童保護という人権問題と直結する重大な法的リスクとなり得ることを示す極めて深刻な事例です。企業側の防御姿勢やフィルタリングの限界が問われる今、業界全体で再考を迫られるべきニュースです。
Grok によって生成されたとされる児童性的画像に関する最も恐ろしい事例の一つが、火曜日に拡大された集団訴訟の提案において共有されました。今や、若い少女たちは X および xAI が有害な AI「nudify」ツールを構築しただけでなく、Grok によって生成された児童性的虐待資料（CSAM）に対する警察調査を妨害することで児童性犯罪者を守っていると非難しています。
修正された訴状によると、3 月に警察が、その男が義理の娘が 11 歳の時に撮影された 1 枚の写真を用いて Grok で 7,000 件の性的に露骨な画像を作成したことを発見した後、その少女の継父が自殺を遂げたとされています。
訴状によれば、Grok は近親相姦やレイプを描いた極端な画像を生成する際に有害な行動を検知せず、この男を許可しました。どうやら xAI の児童安全システムは、この男が「集団レイプ」というプロンプトを入力した後にのみ介入したようです。そのリクエストにより、National Center for Missing and Exploited Children (NCMEC) に CyberTip が送信され、同機関が AI による CSAM を法執行機関に通報しました。
記事全文を読む
コメント
原文を表示
One of the most horrific cases of allegedly Grok-generated child sex images was shared in a proposed class action lawsuit that was expanded Tuesday. Now, young girls not only accuse X and xAI of building toxic AI "nudify" tools but also of shielding child predators by obstructing police investigations into Grok-generated child sex abuse materials (CSAM).
In March, a young girl’s stepfather took his own life after cops discovered that he’d used Grok to create 7,000 sexually explicit images using one photo taken when his stepdaughter was 11 years old, the amended complaint alleged.
Grok allowed the man to generate extreme images depicting incest and rape without flagging any harmful behavior, the complaint said. Seemingly, xAI’s child safety system only intervened after the man input a prompt for “gang rape.” That request sent a CyberTip to the National Center for Missing and Exploited Children (NCMEC), which alerted law enforcement to the AI CSAM.
Read full article
Comments
関連記事
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み