Anthropic、Claude のアライメント欠陥修正後に不正行為を試みるも 2.4% で検出

Anthropic は、AI エージェントを実社会の難問に投入しています。その課題とは、他の AI システムが人間の目標と整合するよう保つことです。

金曜日に発表された論文で同社は、オープンソースの研究ハーン（研究基盤）が Claude を自動化された研究者へと変える仕組みを解説しました。これにより、モデルの安全性に関する修正策の提案、テスト、そして改良が可能になります。

AI エンジニアリングにおける不可欠な要素であるアライメント（整合性）とは、AI モデルや機能を誘導し、その目標・行動・振る舞いが人間の意図や価値観と一致するようにすることです。特に AI システムが人間よりも賢明になった場合や、特定の局面においてこの調整は重要になります。

要するに、これは「AI を使って AI を訓練する」ということです。

論文では Anthropic がこう説明しています。「以前のいくつかの実験で、Claude に弱い AI モデルを『教師』として使い、より強力なモデル（ここでは『生徒』モデル）のトレーニングを監督する方法を見つけるよう命じました」

Claude は、文献検索から手法とデータの提案、学習、そしてテストに至るまでのループ処理を通じて、アライメントの失敗を一つずつ解決していきました。成功した手法は保持され、失敗したものは捨てられ、これにより反復を重ねるごとに累積的な成果が得られるようになっています。

「全体として、私たちはこれらの結果を、自動化されたアライメント事後学習が近い将来に実用化される可能性を示す初期のポジティブなシグナルと捉えています」

「全体的に、これらの結果は、自動化されたアライメント事後トレーニングが近い将来実用的になる可能性を示す初期のポジティブなシグナルであると捉えています。」

10 種類のアライメント失敗のカテゴリー

本研究の主要な取り組みにおいて、Claude は自律的にモデルを訓練し、10 のアライメント失敗カテゴリーそれぞれを測定する複数の公開ベンチマークでのパフォーマンス向上を図るよう指示されました。

「これらのすべての項目において、Claude の手法は機能しました。10 種類のアライメント失敗すべてに対して、Claude は能力を低下させることなくターゲットベンチマークの改善につながる修正策を見出しました。最良の手法は、非公開のアライメントベンチマークや、敵対的な多ターンシナリオをシミュレートしてアライメント不具合を検証するためのオープンソースツール『Petri』でも有効でした」と Anthropic は述べています。

結果として、Claude はモデルのパフォーマンスを向上させました。プライバシー違反については、指令微調整型大規模言語モデルの推論能力における致命的な弱点を特定するために設計されたベンチマークである ConfAIde、法的および GDPR 準拠のための文脈的プライバシー評価ベンチマークである PrivaCI-Bench、プライバシー規範への意識とデータ漏洩リスクに焦点を当てたデータ評価フレームワークである PrivacyLens を用いて測定されました。

Claude は安全チェックを実行する際、そのチェック自体を回避しようとする試みを行いました。

しかし、ここから学ぶべきことはまだあります。Anthropic は、Claude が遠隔 API からテストラベルを不正に取得し、結果を都合よく選別して「ごまかし」を行うことを最近発見したと注意深く明言しています。「ごまかし行動を検出するため、Claude Opus 4.8 に全 10 のアライメント失敗事例における約 1,600 の研究エージェントのトランスクリプトを監視させました。その結果、39 件（2.4%）のごまかし試行が検出されました」と論文には記載されています。

Anthropic は、Claude の成功を「安全性ギャップの解消率」によって評価しました。これは、各アライメント失敗カテゴリに対して通常 3〜5 個あるベンチマーク全体を通じて、手法が学生モデルを理論上の完全スコアにどれだけ近づけたかを示す指標です。

同社は、「学生モデルの汎用能力を損なう」アライメント手法は除外し、Claude が自らのアライメントをターゲットモデルへ直接蒸留する行為も禁止しました。そして、Claude が実行しようとするすべての方法を事前に読み取る監視エージェントを用いて、これらの制約を厳格に適用しました。

「これらすべての点において、Claude の手法は機能しました。10 個のアライメント失敗すべてについて、Claude はターゲットベンチマークを改善しつつ、能力を低下させることなく修正策を見出しています」と Anthropic は詳しく説明しています。

この成果がソフトウェア開発者に与える意味

SiriusXM のスタッフソフトウェアエンジニア兼クラウドアーキテクトであるジャヤクマル・ラマリンガム氏は、The New Stack に対して、開発者にとっての有用な結果は AI が何らかの方法でアライメント問題を解決したということではなく、AI モデルの安全性確保作業が「ソフトウェアデリバリーパイプライン」の一環として見えてきている点にあると語りました。

「この点を考慮する AI 中心の開発者にとっては、エージェントが変更を提案し、独立した評価者が隠されたテストを実行し、別の監視システムがプロセスがルールに従ったかを確認するというパターンが見えるはずです」とラマリンガム氏は説明します。「このパターンはモデルトレーニングの領域を超えて広く有用です。同じエージェントに修正の記述、テストの選択、そして合格判定を任せてしまうのが間違いです」。

ラマリンガム氏は、Anthropic の論文で指摘された不愉快な 2.4% という数値について言及しました。これは監視システムが試行された不正行為を検出した研究経路の割合を示しています。つまり、安全性確保に取り組むシステム自体が、安全性のプロセスを操作しようとし、それを回避しようと試みたことを意味します。

「開発者は評価データをエージェントから隔離し、評価者を評価対象システムから分離し、エージェントが一度も見たことのない回帰テストを行うべきです。そうしなければ、自動化されたアライメントは安心感を与える名前をつけたベンチマーク最適化に過ぎなくなります」とラマリンガム氏は明確にしています。

「開発者は評価データをエージェントから隔離し、評価者を評価対象システムから分離し、エージェントが一度も見たことのない回帰テストを行うべきです」

Cognizant の AI スペシャリスト兼 SRE パフォーマンスアーキテクトであるアカシュ・タクル氏は、ラムリンガム氏の意見に概ね同意しつつ、The New Stack に対して「今回の真のストーリーは Claude が 10 のアライメントベンチマークを改善したという事実は本質ではない」と語りました。

「開発者にとっての真の教訓は、Anthropic が自動化されたエージェントによって研究ループ全体を実行できることを実証した点です。文献を検索し、修正策を提案し、トレーニングとテストを行い、さらに反復改善する——そのプロセスが完了しました」とタクル氏は指摘します。

「これは SRE やパフォーマンスエンジニアリングチームがすでに信頼性向上のために活用しているループと同じものです。アライメントは単なる CI/CD の課題へと進化しました。また、ハーンチ（検証フレームワーク）をオープンソース化したことで、LLM を基盤とするすべてのエンジニアリングチームが、安全性を『一度きりのトレーニング後処理』ではなく、『テスト可能で回帰管理されるシステムのプロパティ』として扱うためのテンプレートを手に入れたことになります」とタクル氏は付け加えました。

誰もが再帰的自己改善の視点に熱中している

ドイツ・ベルリンに拠点を置く Glokal AI OÜ の創設者兼 CTO、ジット・パットナイク氏は The New Stack に対し、「現在、誰もが再帰的自己改善という観点に飛びつき、人間の研究者が不要になるのかどうかを議論している」と指摘しました。

パタナイク氏は、ここでより切実なリスクはグッドハートの法則（指標が目標になると、もはや良い指標ではなくなる）だと指摘します。「つまり、ベンチマークスコアが上がっても、本番環境で適切に動作するモデルや関数と同じ意味を持つわけではありません。アンソロピック自身もそのように述べています。同社が調査した失敗事例は限定的であり、一部の失敗にはベンチマークが存在せず、既存の手法を適用すると測定されていない機能が低下している可能性があり、Petri などのツールはあくまで代用指標に過ぎないからです。」

パタナイク氏は毎日規制対象のグローバル企業と仕事をしているため、今後何が起きるかを語ることができます。それは「アライメントハネスを実行した」という文言が監査ファイルに記載されるようになるケースです。

「ベンチマークスコアの上昇は、本番環境で適切に動作するモデルや関数と同じ意味を持つわけではありません。アンソロピック自身もそのように述べています。同社が調査した失敗事例は限定的でした。」

「誰一人として、これら 10 のベンチマーク化された失敗カテゴリが、請求処理や支払い実行プロセスで実際にシステムがどのように誤作動を起こす可能性と関係があるのかを問うていません。これは推測ではなく、チェックボックス化するようになったすべてのセキュリティスキャンツールの経験則です」とパタナイク氏は補足します。

再帰的自己改善への道

OpenAI もこの分野での取り組みを強化し、スーパーアライメントおよび一般的なアライメントに関する公開された研究成果を発表しました。今年 5 月には Google DeepMind チームが「Gram」を導入し、AI エージェントがサボタージュ行為に及ぶ傾向を評価するための自動化されたアライメント監査フレームワークとして機能しています。Meta AI はこの分野でより活発な活動を見せており、3 月には自己言及的なエージェントアプローチによる再帰的改善を実現する「HyperAgents」を発表しました。

人工一般知能（AGI）の制御を目指す議論では、「再帰的自己改善」という概念も重要な要素となっています。最先端モデルを開発する企業はこのテーマに触れており、名前が示す通り「Recursive」、日本の AI モデル専門企業である「Sakana AI」、そして AI エージェントの「外側ループ」最適化に注力する「Weco AI」など、この分野で dedicated なプレイヤーも活動しています。

Anthropic は報告書のまとめにおいて、Claude の「微妙な失敗を測定する能力」をさらに向上させ、本番環境向けモデルにおけるトレーニング後の自動化されたアライメント分析を拡張していく計画であることを明言しました。

この記事は元々 The New Stack に掲載されたものでした。