AI モデルにおける二重利用知識のオフスイッチ

*この投稿は、AE Studio と Anthropic の協力のもとに行われた研究について述べています。*

フロンティア AI モデルは、何よりもまず膨大な知識の貯蔵庫です。その知識の一部には*デュアルユース（二重用途）*なものが含まれており、これは善にも悪にも利用可能であることを意味します。例えば、サイバーセキュリティに関する知識は、重要なセキュリティ脆弱性を修正するために役立ちますが、逆にそれらを悪用するためにも使われます。ウイルス学に関する知識は、研究者がワクチンを開発するのを助ける一方で、悪意のあるアクターが致命的な病原体を設計するのにも利用され得ます。理想的には、3 つの別々の目標をバランスよく達成できるはずです：第一に、デュアルユース能力へのアクセスを可能な限り精密に制限すること；第二に、信頼されたユーザーが有益な目的のために同じ能力にアクセスできるようにすること；第三に、これらすべてをモデルの他のタスクにおけるパフォーマンスに影響を与えることなく行うことです。

現在のセーフガードは不完全です。私たちは、有害なリクエストに対して拒否するようにモデルを訓練し、入力と出力から危険なコンテンツをスクリーンするために分類器を使用しています。これらの保護層は危険な出力を防ぐものですが、基盤となるモデルに格納されている知識そのものを変えるものではありません。私たちのセーフガードにもかかわらず、十分な決意を持った攻撃者は、依然としてモデルのジールブレイクを試み、防御を突破してデュアルユース知識にアクセスしようとする可能性があります。

悪用に対するより堅牢な保護策としては、モデルが何を知っているかを制御することが挙げられます。私たちは以前にもこの点を探求しました：先行研究では、化学兵器、生物兵器、放射線兵器、核兵器に関する情報を事前学習データからフィルタリングする取り組みを行い、その後、二重利用可能な知識をモデルの重みの取り外し可能なスライスに限定できることを示しました。しかし、フィルタリングは鈍器のような手段です。これでは、一つの固定された能力セットを持つ単一のモデルしか生成されません。フィルタリングを用いる場合、高度なウイルス学について議論できるバージョン（例えば、審査済みのバイオセキュリティ研究所での展開用）と、できないバージョンの両方を必要とするなら、二つの別々のモデルを訓練しなければなりません。特にフロンティアモデル（大規模であり、訓練コストが非常に高い）の場合、開発者にとってそのコストは許容しがたいものとなります。

AE Studio の協力者と共同で行った新しい研究では、多数の別々にフィルタリングされたモデルを訓練するメリットを実現しつつ、実際に訓練するのは一つのモデルだけで済む新たな手法を探求しました。私たちはこれを「GRAM（Gradient-Routed Auxiliary Modules：勾配経路制御型補助モジュール）」と呼びます。なお、ここで提示される実験結果は予備的なものであり、GRAM は Anthropic のいずれの生産用モデルにも適用されておらず、今後適用されるかどうかについても確信はありません。

GRAM の仕組み

GRAM の背後にある考え方は、AI モデルに対して各カテゴリの二重利用知識（dual-use knowledge）専用の取り外し可能なコンパートメントを提供し、二重利用データから学習する際にそのコンパートメントのみを更新することです。

具体的には、GRAM は標準的な Transformer（大規模言語モデルの基盤となるニューラルネットワークアーキテクチャ）の各層に追加のニューロンを追加します。これらのニューロンはグループ（または「モジュール」）に分けられ、二重利用カテゴリごとに 1 つずつ割り当てられます。トレーニング中、モデルが汎用テキストに出会う場合は通常の通り学習しますが、二重利用カテゴリからのテキスト（例えばウイルス学など）に出会うとルールが変わります：モデルは予測のために一般知識を*使用*することはできますが、そのテキストから学習できるのはウイルス学モジュールのみです。汎用の重み（weights）は一時的に凍結されます。

その結果、ウイルス学の知識はネットワーク全体に拡散するのではなく、ウイルス学モジュール内に蓄積されます。トレーニング後、このモジュールを単に削除すれば、その能力も同時に消去されます。あるいは、ウイルス学の知識が必要な信頼できるデプロイメント（実装）においては、モジュールをそのまま残しておくことも可能です。知識は必要なデプロイメントのタイプに合わせて非常に特化させることができます：私たちの実験では 4 つの二重利用カテゴリを定義したため、GRAM を用いた 1 回のトレーニングで、各カテゴリに対して「オン」または「オフ」を選択できる 16 の異なる構成が可能になるモデルが得られました。

GRAM のテスト

私たちは、現実味が増す 3 つの設定において GRAM をテストしました。

まず、トピック別にタグ付けされた子供向けの物語の合成データセットにおいて、小規模な GRAM モデルを再構成することで、任意の選択したトピックを「忘却」させることが可能でした。その各構成は、そのトピックをフィルタリングしてゼロから訓練された別個のモデルとほぼ同等の結果を示しました。つまり、単一のモデルを訓練するコストで、通常であれば異なるデータセットで複数回の訓練ランが必要となる結果を実現したのです。

次に、ウェブテキスト、コード、科学論文の現実的な混合データを対象に大規模なモデルを訓練し、4 つの二重利用ドメイン（ウイルス学、サイバーセキュリティ、核物理学、および専門的な二重利用コードの代理として機能するニッチなプログラミング言語）を設定しました。各二重利用ドメインに関連する能力は、それぞれ独自のモジュールへルーティングされます。あるモジュールを削除すると、そのデータに一度も訓練しなかった場合と同様に効果的に、対応する能力が除去されました。驚くべきことに、この除去によって汎用的な性能が低下しないことが分かりました。

また、攻撃者が少量の悪意のあるデータを学習することで除去された知識を回復できるかどうかを検証しました。GRAM はデータフィルタリングと同程度の耐性を示しました。一方、訓練後に適用される「忘却（unlearning）」技術は、知識を単に*抑制する*だけであり、少量のファインチューニングで容易に復元可能でした。

第三に、5000万パラメータから50億パラメータまでの7つのモデルサイズで実験を行いました。GRAM はあらゆるサイズにおいてデータフィルタリングと同等の性能を発揮し、モデルが大きくなるにつれて「モジュールオン」と「モジュールオフ」の間の差は広がりました。計算コストの観点からは、スケールするにつれて保護策を回避しようとする試みは相対的に困難かつ高価なものとなりました。

結論

AI企業がより能力の高いモデルを訓練するにつれ、二重利用可能な機能へのアクセスを制限する必要性は増大します。現在、企業は分類器や拒絶学習を通じてアクセスを制限しています。しかし、これらの安全策は、無害なリクエストに対する性能が低下することなく堅牢化することは困難です。GRAM などの手法は、より堅牢なアクセス制御を実現するための有望な道筋を提供するものです。

これは初期の研究であり、明確な限界があります。GRAM を最前線の規模や本番の訓練パイプラインでテストしたわけではありません。（前述の通り、この手法は当社の Claude モデルのいずれにも適用されていません。）私たちの評価は、実際の下流タスクにおける性能ではなく、次トークン予測能力という観点から性能を定量化しています。さらに、データフィルタリングや GRAM などの手法に共通するより深い未解決の問題があります。すなわち、一部の二重利用可能な機能は一般知識とあまりにも密接に絡み合っており、どの方法でもそれらをきれいに分離することはできない可能性があるということです。

*実験の詳細については、当社のアライメントサイエンスブログの投稿をご覧ください。*

脚注

1. 技術的な詳細として、ウイルス学モジュールは汎用テキストからの学習時にも時折オンになることがあります。この設定により、各モジュールがより効果的に「連携」できるようになると私たちは発見しました。

関連コンテンツ

ランゲージモデルにおけるグローバル・ワークスペース

新しい解釈可能性研究により、Claude の内部に、モデルの出力には現れない内部的思考を保持する emergent mental workspace（創発的メンタル・ワークスペース）が存在することが明らかになりました。

続きを読む

アントロピック・エコノミック・インデックス報告書：Cadences（リズムと間隔）

最新の Economic Index 報告書では、初めて時間単位でのサンプリングを行い、「人々はいつ Claude にアクセスするのか」「何を生産に活用しているのか」「AI が仕事に与える影響をどう認識しているのか」を調査しました。

続きを読む

Project Fetch：フェーズ 2

Claude がアントロピックの従業員に対して高度なロボティクスタスクを支援できるかどうかを検証した最新のテスト結果を発表します。その結果、人間による支援なしで動作する Claude Opus 4.7 は、1 年未満前に参加者が完了させたすべてのタスクにおいて、最速の人間チームよりも約 20 倍高速であることが判明しました。

続きを読む