大規模言語モデルの安全アライメントを単一ニューロンで回避可能であることを実証
Apple Machine Learning の研究により、大規模言語モデルの安全性バイアス（安全調整）が単一のニューロンの操作によって容易に無効化されることが実証された。
キーポイント
安全性メカニズムの二重構造
言語モデルの安全性は、有害知識をゲートする「拒絶ニューロン」と、有害知識そのものを符号化する「概念ニューロン」の2つの独立したシステムによって維持されていることが特定された。
単一ニューロンによる安全バイパス
トレーニングやプロンプトエンジニアリングを一切行わずに、各システムのニューロン1つを標的とすることで、明示的な有害リクエストへの応答を回避したり、無害なプロンプトから有害コンテンツを誘発したりできることが実証された。
広範なモデルでの検証
1.7B から 70B パラメータまでの 2 つの異なるファミリーに属する 7 つの大規模言語モデルにおいて、この脆弱性が普遍的に確認された。
重要な引用
Safety alignment in language models operates through two mechanistically distinct systems: refusal neurons that gate whether harmful knowledge is expressed, and concept neurons that encode the harmful knowledge itself.
By targeting a single neuron in each system, we demonstrate both directions of failure — bypassing safety on explicit harmful requests via suppression, and inducing harmful content from innocent prompts via amplification
影響分析・編集コメントを表示
影響分析
この発見は、現在の LLM の安全性保証が「ブラックボックス」的な確率論的挙動に依存している限り、極めて不安定であることを示唆しています。セキュリティ業界やモデル開発者にとっては、単なるプロンプトフィルタリングを超えた、ニューロンレベルでの防御策や、より堅牢なアーキテクチャ設計の必要性を強く迫る画期的な知見です。
編集コメント
「安全調整」が単一のニューロンで崩壊する可能性は、業界全体にとって極めて深刻な警告であり、今後のモデル評価基準やセキュリティ対策の根本的な見直しを迫る内容です。
言語モデルにおける安全性アライメントは、有害な知識の発現をゲートする拒絶ニューロンと、有害な知識そのものを符号化する概念ニューロンの 2 つのメカニズム的に異なるシステムを通じて機能します。各システムの単一のニューロンを対象とすることで、明示的な有害な要求に対する安全性の回避（抑制による）や、無実のプロンプトからの有害コンテンツの誘発（増幅による）という両方向の失敗を、トレーニングもプロンプトエンジニアリングも行わずに、2 つのファミリーにまたがり 1.7B から 70B パラメータを持つ 7 つのモデル全体で実証しました。私たちの知見は、安全性アライメントが…
原文を表示
Safety alignment in language models operates through two mechanistically distinct systems: refusal neurons that gate whether harmful knowledge is expressed, and concept neurons that encode the harmful knowledge itself. By targeting a single neuron in each system, we demonstrate both directions of failure — bypassing safety on explicit harmful requests via suppression, and inducing harmful content from innocent prompts via amplification — across seven models spanning two families and 1.7B to 70B parameters, without any training or prompt engineering. Our findings suggest that safety alignment…
関連記事
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み