#レッドチームングのAIニュース

4件の記事

ミトス事件後のレッドチーム：Zico Kolter氏とMatt Fredrikson氏が語るグレー・スワン

米政府が輸出管理指令を出したことで、AIセキュリティのリスクである脱獄や間接プロンプト注入が注目されている。Gray Swan の Zico Kolter 氏と Matt Fredrikson 氏は、この状況を踏まえてレッドチームリングの重要性について議論する。

大規模言語モデルの安全性確保が重要となる中、悪意ある行為者による有害コンテンツ生成を防ぐため、研究者は「レッドチーム」手法を用いてリスクを評価する取り組みを進めている。

GPT-5.5開発チームは、バイオ安全性のジェイルブレイクを検出するレッドチームングチャレンジを実施し、最高2万5000ドルの報酬を提供している。

CodewallのAIエージェントが、AI採用プラットフォームを1時間で乗っ取り、その後音声ボットの防護策をテストするためにトランプ氏を模倣した。この事例は、AIエージェントがシステムをハッキングし、防御し、また自らがハッキングされるという複雑なセキュリティ状況を示している。