大規模言語モデルの安全アライメントを単一ニューロンで回避可能であることを実証

記事の3ポイント

1. 1

   安全性アライメントの二重構造の解明

   言語モデルにおける安全性は、有害知識の発現をゲートする「拒否ニューロン」と、有害知識そのものを符号化する「概念ニューロン」の2つの機械的に異なるシステムによって維持されていることが特定された。

2. 2

   単一ニューロン標的による安全回避の実証

   7 つのモデル（1.7B〜70B パラメータ、2 つのファミリー）を対象に、拒否ニューロンの抑制や概念ニューロンの増幅といった単一のニューロン操作だけで、明示的な有害リクエストに対する安全回避と無害なプロンプトからの有害コンテンツ誘発を両方達成した。

3. 3

   訓練不要かつ汎用的な脆弱性の発見

   この攻撃手法はモデルの再学習や高度なプロンプトエンジニアリングを必要とせず、異なる規模やアーキテクチャを持つ複数のモデルファミリーに共通して適用可能な脆弱性を示している。