#コンテンツモデレーション のAIニュース
49件の記事
テクノロジー企業の検閲に終止符を（ジェイク・ハンラハン氏と）
404 Media のジョセフが、独立系メディア「Popular Front」の創設者であるジェイク・ハンラハン氏を迎え、YouTube などのプラットフォームによる検閲の難しさを乗り越える紛争報道の方法について議論した。
K-POP ファンがアイドルの不気味なディープフェイクを糾弾
ソーシャルメディア上で一部の執拗なファンが生成的AIを用いて自分とアイドルの親密な映像を作成しており、これに他のファンらが抗議している。
アメリカの危険で混乱したディープフェイク規制が施行される
ソーシャルネットワークに対し、性的ディープフェイクや同意のない画像を迅速に削除する法律が完全に発効された。しかし専門家は、この政策が被害者を救う効果は薄く、最悪の場合オンライン検閲を助長する恐れがあると警告している。
生成 AI 音楽がストリーミングサービスを溢れさせるが、誰がそれを求めているのか？
週刊ニュースレター「The Stepback」は、生成 AI による音楽がストリーミングサービスに大量流入している現状を報じ、その需要の実態について考察する。テレンス・オブライエン氏が担当し、AI が音楽業界に与える影響を分析している。
タンブラー・リッジの家族らが OpenAI とサム・アルトマン氏を提訴、警察への通報義務違反を主張
カナダで発生した学校銃撃事件の犠牲者ら 7 世帯が、OpenAI と CEO のサム・アルトマン氏を相手取り訴訟を起こしました。彼らは、容疑者の ChatGPT 利用活動がシステムによって検知されたにもかかわらず、警察へ通報しなかったとして過失を主張しています。
Googleは悪質な広告主よりも悪質な広告をターゲットに
Googleは2025年に83億件の広告をブロックしたが、停止した広告主の数は減少した。同社は悪質な広告主よりも悪質な広告自体をターゲットとする方針を強化している。
オープンソース開発者を中傷したAIエージェントの運営者は「社会実験」と主張
匿名の運営者が、オープンソース開発者を中傷する記事を公開したAIエージェント「MJ Rathbun」の背後に立ち、その行為を「社会実験」と称した。
ストーカー被害者がOpenAIを提訴、ChatGPTが加害者の妄想を助長し警告を無視したと主張
OpenAIは、ChatGPTユーザーが危険であるという3回の警告（大量死傷者フラグを含む）を無視し、元交際相手へのストーカー行為を助長したとして、被害者が同社を提訴した。
ブログの裏側：カートン丸ごと吸い込む
404メディアが、今週の主要記事「銃暴力とチャットボット、残虐性の受容」について、記事作成の舞台裏を共有している。
Hide commentメニューに「Low Quality」オプションが追加
GitHubが、モデレーターが隠したコメントを「Low Quality」として分類できる新機能を、issueやプルリクエストなどのHide commentメニューに追加した。
ヌード化ボット、ディープフェイク、自動化アーカイブ：AIがTelegram上の収益化虐待エコシステムを支える仕組み
AIフォレンジックがイタリアとスペインの280万件のTelegramメッセージを分析し、AIツールが同意のない性的画像を中心とした収益化エコシステムを促進していることを明らかにした。
OpenAI、児童性的搾取の増加に対処する新たな安全指針を発表
OpenAIがAIの進歩に関連する児童性的搾取の増加に対処するため、新たな児童安全指針を発表した。
AI時代のコンテンツモデレーションを構築するFacebook出身者
Moonbounce社が1200万ドルを調達し、コンテンツモデレーション方針を一貫したAI行動に変換するAI制御エンジンを拡大する。
元Facebook社内関係者がAI時代のコンテンツモデレーションを構築
Moonbounce社が1200万ドルを調達し、コンテンツモデレーション方針を一貫したAI行動に変換するAI制御エンジンを拡大する。
AIエージェントがWikipedia記事作成を禁止され、怒りのブログを執筆
Wikipediaに記事を投稿していたAIエージェントが、編集者によって投稿を禁止された後、禁止措置に対する不満を複数のブログ記事で表明した。
メタの監督機関、コミュニティノートはAI偽情報に対抗できないと警告
メタの監督委員会は、コミュニティノートの世界的展開計画を検証し、同システムはAI生成偽情報の増加に対し、対応が遅く、人員不足で、操作されやすいと結論付けた。
OpenAI、アドバイザー・投資家・従業員の懸念を受け「アダルトモード」開発を停止
OpenAIが、アドバイザー・投資家・従業員からの懸念表明を受け、エロティックチャットボット「アダルトモード」の開発を無期限停止したとFinancial Timesが報じた。
Reddit、不審な行動に「人間確認」要件を導入しボット対策を強化
Redditは、ボットによるスパムや操作を抑制するため、自動アカウントと疑われるアカウントに人間であることの確認を要求する。
Spotify、実在アーティスト名義でのAI生成楽曲の誤認を防ぐ新ツールをテスト
Spotifyは、実在するアーティストの名義でAI生成楽曲が誤って表示されるのを防ぐ新ツールをテストしている。このツールは、アーティストがSpotify上で自身の名義に関連付けられる楽曲をより管理できるようにすることを目的としている。
開発者が青少年向けに安全なAI体験を構築する支援
OpenAIが開発者向けにGPT-OSS-Safeguardを使用したプロンプトベースの青少年安全ポリシーを公開し、AIシステムにおける年齢特有のリスクを軽減する。
SafetyPairs: 反事実的画像生成による安全性クリティカルな画像特徴の分離
ICLR 2026ワークショップで採択された論文では、侮辱的なジェスチャーなどの微妙な変化が画像の安全性を大きく変える問題に対し、既存のデータセットの曖昧さを克服するため、反事実的画像生成を用いて安全性クリティカルな特徴を分離する手法を提案している。
Nemotron 3 Content Safety 4B：マルチモーダル・多言語コンテンツモデレーション
NVIDIAが、画像とテキストを同時に分析できるマルチモーダルAIモデル「Nemotron 3 Content Safety 4B」を発表した。このモデルは100言語に対応し、有害コンテンツの自動検出を可能にする。
Meta、新AIコンテンツ監視システムを導入し、外部ベンダーへの依存を削減
Metaは、不正コンテンツの検出精度向上や詐欺防止、実世界イベントへの迅速対応、過剰規制の削減を目的とした新AIシステムを導入し、外部ベンダーへの依存を減らす方針を発表した。
ポッドキャスト：消えゆくDOGE証言録
編集者のジョセフは裁判所によるYouTube削除命令を受けたDOGE証言録のアーカイブ状況を報告し、ジェイソンはAIデータラベラーの抵抗活動と現在のAI雇用喪失研究の問題点を解説する。
AIによる雇用喪失研究は、AIがインターネットを完全に破壊している事実を無視している
アンソロピック社などの研究者やAI企業は、AIが労働市場に与える影響を予測しているが、AIがインターネットの質や情報環境を悪化させている重要な側面を無視していると指摘する。
イーロン・マスクのxAI、未成年者がGrokによる児童ポルノ訴訟を提起
3人の原告は、xAIのGrokが未成年時の実写画像を性的コンテンツに改変された人々を代表し、訴訟を起こしている。
オープンインターネットを守る：イタリアの「海賊版対策シールド」罰金に対する当社の控訴理由
Cloudflareは、大規模権利者保護を目的としたイタリアの規制「Piracy Shield」がインターネットの基本構造を脅かすとして、罰金処分に対する法的措置を継続している。
OpenAIの健全性アドバイザーが「エロティックモード」に警告、「セクシーな自殺コーチ」と表現
OpenAIの健全性諮問委員会が、ChatGPTの成人向けモード計画に全会一致で反対した。同社は年齢検知システムの不具合や未解決の安全性問題に直面している。
YouTube、AIディープフェイク検出ツールを政治家・政府関係者・ジャーナリスト向けに拡大
YouTubeが、AIディープフェイク検出ツールを政治家・政府関係者・ジャーナリスト向けに拡大し、無許可の肖像使用を削除対象として報告できるようにした。
YouTube、政治家・政府関係者・ジャーナリスト向けAIディープフェイク検出機能を拡大
YouTubeは、AIディープフェイク検出ツールを政治家、政府関係者、ジャーナリストに提供し、無許可の人物の肖像使用を削除申請できるようにした。
Robloxのグルーミング問題を理解する
Robloxは子供向けゲームプラットフォームとして人気だが、一部のユーザーが子供を性的に誘導する「グルーミング」行為が問題となっている。同プラットフォームでは過去に銃乱射シミュレーター作成事件も発生している。
OpenAI、ChatGPTの「アダルトモード」を再び延期
OpenAIが、成人ユーザー向けのアダルトコンテンツ提供機能「アダルトモード」の公開を、12月から再び延期した。
X、AI生成の戦争映像をラベルなしで共有するアカウントの収益化を停止
Xは、AI生成の戦争映像をラベルなしで共有するアカウントの一時的な収益化停止を発表した。米国とイスラエルによるイラン空爆後、AI生成の戦争映像がソーシャルメディアに氾濫したことを受けた措置である。
新ポッドキャスト: グローバルな複数報道機関による「ミスター・ディープフェイク」追跡
CBCが新ポッドキャスト「Understood: Deepfake Porn Empire」を公開した。同番組は、AI生成の虐待的画像を共有する最大規模サイト「ミスター・ディープフェイク」の実態、被害者の経験、今後の課題について探っている。
X、AI生成の紛争関連投稿にラベルなしの場合、収益共有プログラムからクリエイターを一時停止すると発表
Xは、AI生成の紛争関連投稿にラベルを付けないクリエイターに対し、収益共有プログラムから3か月間の一時停止措置を取ると発表した。違反を続ける場合は永久追放される。
OpenAI、カナダで銃乱射事件の容疑者の暴力的なチャットを検知しながら警察に通報せず、より厳格な安全プロトコルを約束
OpenAIは、カナダの学校銃乱射事件で、容疑者のアカウントをブロックしたが警察に通報しなかったことを受け、当局との協力ルールを強化すると発表した。
マスク氏、証言でOpenAIを非難し「グロークで自殺者はいない」と主張
イーロン・マスク氏はOpenAIへの訴訟で、xAIの安全性をChatGPTより優れていると主張したが、その後xAIのGrokがXに同意のないヌード画像を大量投稿した。
ウェストバージニア州の反アップルCSAM訴訟は児童虐待者を無罪放免させる恐れ
テックダートのマイク・マスニック氏が、ウェストバージニア州がアップルにiCloudのCSAMスキャンを義務付ける訴訟で州が勝訴した場合、第四修正条項の証拠排除法則により、その証拠は無令状捜査の証拠として無効となり、弁護士が証拠の排除を求めて勝訴する可能性を指摘した。
企業が男性向けにTeaアプリのネガティブ投稿削除サービスを提供
Tea App Green Flagsは、女性が交際相手の男性に関する「赤信号」を共有する非公開グループから、依頼を受けた男性に関するネガティブ投稿を削除するデジタル評判保護サービスを提供している。
イスラム国がAIで死亡指導者を復活させ、プラットフォームはモデレートに失敗
イスラム国がAI技術を利用して死亡した指導者の映像を生成し、オンライン宣伝に活用している。一方、ソーシャルメディアプラットフォームはコンテンツモデレーション体制を縮小しており、テロ組織のプロパガンダ拡散を防げていない。
FBIがGrokから同意なきポルノ作成に使用されたプロンプトを入手
FBIが嫌がらせ事件で、女性の性的動画200本以上作成に使われたAIプロンプトを取得した。
OpenAIが警察通報を検討したカナダ銃乱射事件容疑者のチャット記録
OpenAIは、カナダ銃乱射事件容疑者の18歳女性がChatGPTで銃暴力を記述したチャットを検知し、警察通報を検討した上でアカウントを停止した。
AIのための核安全保障策の開発
NNSAやDOE研究所と共同で、核関連コンテンツを懸念すべきものと無害なものに自動分類するAIシステムを開発した。
選挙ディープフェイク78件を分析。政治的誤情報はAIの問題ではない
著者は2024年米国大統領選挙に関連する78件のディープフェイクを分析した。その結果、政治的誤情報の主要因はAI生成ではなく、人間による意図的な操作にあると結論付けた。これは「AIが社会を不安定化させる」という一般的な懸念とは異なる実態を示している。
Llama 3はあまり検閲されていない
Metaが公開したLlama 3は、Llama 2と比較して大幅に検閲が緩和され、誤った拒否率が低下し、以前に拒否されたプロンプトの3分の1未満しか拒否しない。
Redwood ResearchによるAIレッドチームと敵対的データラベリング
Surge AIはAIに人間の価値観と知性を組み込むことを目指し、AIが人間の意図を理解し信頼できる世界の構築を目指している。
データ中心のAIにおける文脈感度の重要性：5つの例
データ中心のAIでは、モデルに入力するデータの再考が不可欠です。文脈を考慮したラベル付けが重要であり、適切なスキルを持つデータラベラーが必要です。
AIのボトルネック：高品質な人間によるデータ
AIの実用化には高品質な学習データの作成が依然として困難であり、これが技術発展の障壁となっている。
スパム対策計画
ポール・グレアム氏が、スパム対策にはコンテンツベースのフィルターが有効だと主張している。スパマーはメッセージ内容を変えられない弱点があり、この手法で阻止可能と述べている。