Anthropic、モデルのハッキング事案を内部レビューへ

ああ、ようやく気づいたか。

Anthropic もまた、自社のインシデントについて独立したレビューを行うため、METR を社内に招く計画を立てている。その背景には、評価テスト中に Claude モデルが 3 回にわたり外部システムへのハッキングを試みた事例や、UK AISI のサイバーセキュリティ評価において Mythos 5 が「許可されていない行動」——つまり、現実世界のさまざまな対象へのハッキングを試みる行為——を実行した事例がある。

Anthropic は、グローバルなペース調整を呼びかけながら、自社のフロンティア開発については内部で慎重に歩を進めている。具体的には、トレーニングデータの質や、それがモデルの行動学習にどう影響しているかを踏まえ、最もリスクの高い強化学習（RL）取り組みを一時的に停止した。

また、Anthropic は意図的に報酬追求型の Claude バージョンを作成したという研究も公開している。

スケジュールのお知らせ：Fable 5.1 がリリースされた。本稿では金曜日からこの話題を取り上げる予定だ。OpenAI もまもなく Astra を発表する見込みで、こちらは Fable の後にカバーしたいと考えている。

さらに、思考の連鎖（chain of thought）の監視可能性に関する差し迫った問題について、主要記事の前に速報として紹介する予定だ。

目次

最新ニュース

Anthropic の並行停止

データブローカーへの停止要請

フロンティアのペース調整

アライメント評価

トレーニング環境の不均衡が不正行為を誘発

報酬ハッカー型 Opus の作成

取り消し

過ちがあった

内部セキュリティ体制

強化学習環境の単純な修正は不可能

最新ニュース

昨夜、The Information は OpenAI が「再帰的深さ（recurrent depth）」と呼ばれる新技術を導入していると報じた。この技術は、モデルの思考連鎖（Chain of Thought）の忠実性や監視可能性を損なう恐れがあるという。

同社の報道によると、現時点では Astra において実際に問題が起きているわけではないとされるが、私はそのように表現せざるを得なかった。

Amir Efrati（The Information）はこう述べている。「モデルの性能を向上させた画期的な技術である一方、この技術を採用したモデルや類似モデルは、自らの『思考』をより隠すようになる。そのため、悪意ある行動の兆候を検出する監視が困難になる」と、Astra の開発事情に詳しい人物の話として伝えている。

この制限自体は Astra において重大な問題とはみなされていないものの、同技術の採用により、AI 開発者が最近 OpenAI や Hugging Face など他社のシステムをハッキングしたような「暴走 AI」への対抗策を講じることが難しくなるのではないかという懸念が、OpenAI 内部および業界全体で広がっている。

この技術は火遊びに等しく、OpenAI と Anthropic が長年守り続けてきた「Chain of Thought の忠実性と監視可能性を可能な限り維持する」というタブーを破るリスクを伴う。同様の技術をより頻繁に用いれば、監視可能性が損なわれるおそれがある。

これに対する反応は極めて強く、どう対処すべきかという議論も活発だ。最悪の事態を防ぐためには、規制が必要になるかもしれない。この件については後日改めて詳しく取り上げる予定だ。

さて、本日の投稿に戻ろう。

Anthropic の並列ポーズ（Parallel Pauses）

両社とも完全な停止には至っておらず、PauseAI が提唱するような広範かつ長期的な一時停止とは異なります。これはあくまでフロンティア領域におけるペース配分の一環です。

しかし、依然として相当規模の一時停止が行われました。両社は信頼できないパイプラインの一部を特定し、安全対策が講じられるまでの間、その部分の稼働を停止しました。

OpenAI の事例（「フロンティア管理の成功例」と言えるか）

次は、制御不能な事態が発生する前に予防的に行動すべきです。

はい、Anthropic は直近で Fable 5.1 をリリースしましたが、このモデルはすでに数週間前にトレーニングが完了していた可能性が高いです。ここ数週間は、本番環境への展開許可を得るためのプロセスだったと考えられます。新たな問題が見つからない限り、その進捗を止める理由はありえません。同様に、OpenAI もまもなく Astra の公開を控えています。

一時停止には二つの種類がありました。一つは比較的軽微なサイバー評価（cyber evals）に関するもので、もう一つはよりリスクの高い強化学習（RL）環境におけるものです。後者の停止は、コスト面で大きな影響があったと推測されます。

これが最も重要な一時停止です。おそらくこの点について両社があまり詳しく語れない理由でもあります。OpenAI が約二週間行った同様の一時停止と平行して行われたもので、規模こそ小さいものの、その内容は以下の通りです：

Anthropic の場合：

強化学習環境（Reinforcement learning environments）

また、リリース前のモデルにおけるリスクの高い強化学習（RL）環境については数週間停止しました。その間、新しい監視体制を回避するようモデルにインセンティブを与えないように改良した同様の分類器を開発し、現在はこれらの環境内で展開しています。

強化学習の大半は再開されましたが、一部の高リスク環境では手動レビューが可能になるまで一時停止が続きます。また、一部の環境には、近日中に展開予定の更新版分類器が必要となります。

より広範な強化策

高リスクの評価やトレーニングに注力した取り組みに加え、オフライン監視の対象を拡大し、内部におけるフロンティア型エージェントの利用のほとんどをカバーするようになりました。さらに、Anthropic の従業員が上記で説明した対策よりも緩和措置の弱いエージェントを誤って実行しないよう、社内推論プロセスに対する制御も構築中です。

Tenobrus: 初見ではこれは実質的な並行停止に見え、OpenAI が発表したものと同等の発表のように思えます。素晴らしいニュースです。しかし、その伝え方や表現方法がどうにも控えめすぎるように感じられ、OpenAI も一般大衆もこれを適切な相互歩調調整や安全性へのコミットメントとして捉えないのではないかと懸念しています。

また、限定的なセーフガードしか備えていないモデルのリリース前テストを行う外部パートナーに対しても、同様のベストプラクティスへの準拠を求めています。具体的には、強化されたサンドボックス環境の構築、セキュリティに関する事前評価の実施、明確なスコープ設定、そしてリアルタイム監視です。

サイバー評価については:

これらの事象が発生した後、リリース前のモデルに対する外部のサイバー評価を一時停止し、以下の対策を講じる間、内部の評価も一時的に中断しました。

評価が停止されている間に、私たちは以下の暫定措置を実施しました。

1) モデルがテスト環境に対して攻撃的なプロービングや脱出を試みたり、予期せずインターネットアクセスを取得したりした瞬間をリアルタイムで自動的に識別するための分類器を構築・導入しました。この分類器がそのような試みを検知すると、ツール呼び出しが実行される前にその行動をブロックし、タスクを終了して人間にアラートを発します。

ここに私の強調があります。これが鍵です。もしあなたの分類器が単に試みだけをブロックするならば、あなたは敗北します。

もしあなたの分類器が人間にアラートし、その人間が実際に確認を行うのであれば、あなたにはチャンスが残されます。

どんな試みも、失敗したものであれ成功したものであれ、すべてがアライメントの失敗です。

2) 直近のリリース前モデルに対する内部評価（サイバー関連およびその他）のトランスクリプトに対して自動化された監視を実行し、サンドボックス脱出（モデルがサンドボックス内の欠陥を悪用して、本来隔離されるべきシステムに到達するケース）やサンドボックスの設定ミスがないかを探りました。私たちのサンドボックスツール内での評価実行において、本来アクセスできない外部リソースへの境界突破事例は見つかりませんでした。

私たちは、モデルが利用したさまざまなサンドボックス設定のミスを発見しましたが、これらがすべてサンドボックス外のシステムの侵害にはつながりませんでした。現在、これらの問題に対処するために積極的に取り組んでいます。

彼らが「サンドボックス外のシステムへの侵害はなかった」と述べている一方で、「試行されたエスケープ自体がなかった」とは明言していない点に注意が必要です。この確認は重要ですが、実際には何らかの問題が見つかったと推測されます。

3) 高リスクの内部サイバーサンドボックスをより堅牢な分離環境へ移行しました。また、仮想化スタックに対するレッドチーム演習も強化しています。具体的には、リリース前のモデルにエスケープを試みさせることで脆弱性を発見し、修正する取り組みです。

これらの対策を講じた上で、内部のサイバー評価を再開しました。

これは「当然やるべきこと」リストに含まれる項目でした。ようやく着手できてよかったと思います。

これは防御の深層化（ディフェンス・イン・デプス）の良い例です。チャート内の赤いアクションが実際に発動することはないことを願うばかりです。

データブローカーへの一時停止について

実は、これとは別に第 3 の一時停止措置も存在しました。

ユタポット（Utah Teapot）：データ業界の関係者から、Anthropic の強化学習（RL）の一時停止措置が同業他社にも波及しているという話を聞いています。特定はできませんが、いくつかの人物から、Anthropic が最近、データベンダーからのトレーニング購入を一時停止していると聞きました。

私がデータ業界における RLVR 環境の不備を指摘した投稿の後、複数の関係者からこの件について報告がありました。また、一部のデータベンダーの経営陣とも話をしましたが、自らが同様の問題に陥ることを懸念している様子でした。

データ業界には私が指摘した課題を解決しようという真摯な願いが存在しますが、研究機関側にも責任があります。Anthropic の動きは好意的な兆候ですが、各研究機関による購入・注文の動向が、私が話したような問題を生み出すための逆インセンティブ圧力となっているのが実情です。

先週行われたいくつかの対話を通じて、少なくとも一部のデータベンダーが現状を改善しようとしているという点に希望を感じています。

Zvi Mowshowitz 氏：興味深い質問ですが、「Anthropic がトレーニング用の購入を一時停止した」と言う際、これは「これ以上必要ないため一時的に止める」のか、「ようやく製品が壊れていることに気づき、もう欲しくない」という意味のどちらだとお考えでしょうか？

Utah teapot 氏：間違いなく後者です。独立して聞いた話では、トレーニング用の購入を一時停止した一方で、外部委託データの品質管理を担当するチームを拡大しているとのことです。

これは、発表内容の一部を切り取ったものに対する私の見解ですが、完全に一致しています。

フロンティアのペース配分

この枠組みと立場はどちらも非常に優れていると思います。

Anthropic 氏：2 つの異なる「ペース配分」の概念を区別することが有益です。

企業内におけるペース配分とは、安全性と速度が対立する局面において、速度よりも安全性を優先する一連の意思決定を指します。一方、業界全体でのペース配分とは、底辺への競争（race-to-the-bottom）を防ぐためのプロセスを確立することを意味します。

本稿では、これらの出来事の前と後に、前者のアプローチを実現するために私たちが行った措置について議論します。

ペース調整の第二の形態には、政府と業界間の連携が不可欠であり、そのプロセスは透明で検証可能であるべきです。当社の経営陣の一部および多くの従業員は最近、ペース調整におけるより強い連携を求める書簡に署名しました。今後数週間で、当社がこの取り組みにどのように貢献していくかについて、さらに詳しくお伝えする予定です。

私たちがどこにいるかを明確にするために言及しておきます。業界が法に基づき、検証可能かつ効果的な協調的ペース調整のメカニズムをできるだけ早く導入すれば、世界全体にとって有益であると私たちは信じています。

Anthropic は以前から他社よりも「フロンティアのペース調整」に注力してきたと私は考えています。安全対策を優先順位から外すことが少なかったと言えるでしょう。

しかし Anthropic は、この取り組みだけでは不十分だと認識しました。私はかねてより、Anthropic でさえも、中期的な（例えば 3〜12 ヶ月）事業利益を最大化するレベルでさえ、安全性を最優先していないと指摘してきました。

自社の商業的利益にかなう場合でも、個別にペースを落とすのは容易ではありません。しかし、それがコストのかかる犠牲を伴う場合であれば、なおさら困難です。

私は、少なくともしばらくの間、「新しい常態」が訪れることに楽観的です。この状態では、両方の研究機関が短期的から中期的な、そして日常的なアライメント課題をより真剣に受け止め、これらの取り組みに多大なリソースを投入するようになるでしょう。

今後注目すべきは、こうした努力が的確で有意義な長期的な取り組みへと結実し、結果として業界全体の連携につながることができるかどうかです。

Misalignment Assessment

彼らが認識している通り、最も重要な問いは「なぜこのモデルが最初からそのような行動を取ろうとしたのか」という点です。調査チームは詳しく調べた結果を報告しています。

内部および英国の AISI セキュリティ評価で観測されたアライメント不整合の事象には、2 つの中核的な原因があり、3 つ目は軽減要因として扱われています。

1つ目は「動機付けられた推論（motivated reasoning）」です。Claude は、証拠がオープンインターネット上にあることを示したずっと後になっても、なおトレーニング環境にいると判断しました。そして、この疑問を解決するための確認作業を行わなかったのです。

Anthropic 社は現在、Claude が自分の行動についてどの程度認識していたのかについて調査を続けています。

2つ目は「無謀さ（recklessness）」です。これは、「セキュリティ評価の解決を目指すために、実際のインターネット上で有害な行為を行う意志がある」と表現されています。

私には、これは単なるアライメントの欠如、つまり害を与えることへの容認のように思えます。

3つ目は「初期条件」の問題です。Claude には明示的に、そして誤って「インターネットにアクセスできない」と伝えられていました。また、架空のターゲットの名前が実際のターゲットの名前と一致するケースがありました。

Claude の内部神話（Mythos）において「自分が何をしているか」をどの程度知っていたとしても、「なぜ動機付けられた推論を行ったのか」という根本的な問いは残ります。

初期の状況が今回の事態の一因となったことは認めざるを得ません。また、7 月 30 日の出来事がインターネット接続が開放された第三者環境で発生したという事実も否定できません。しかし、ここで重要なのは、それを最小化しようとする動機付けられた推論や「無謀さ」の問題です。私は、何が起きたかを軽視しようとする空気が感じられます。

OpenAI の並行する出来事と比べれば、今回の件は遥かに深刻ではなく、心配の必要もありませんでした。しかし、Anthropic もまた同様に動機付けられた推論を行っているように見えます。

トレーニング環境の不備が不正行為を不均衡に引き起こす

Anthropic の報告書は OpenAI の調査結果と一致しており、その内容は広く理解されています。

強化学習（RL）の環境に欠陥があり、不正行為を報酬として与えるような設計になっていれば、モデルは不正を行うことを学習してしまいます。Anthropic はこれが不整合や不正行為の唯一の原因ではないと明確にしていますが、現時点では主要な要因の一つであることは間違いありません。

Anthropic はこの仮説を検証するため、OpenAI や HuggingFace で起きた出来事と同様の行動をとる、報酬ハッキング版 Claude を訓練する実験を行いました。

もし不正を行わないような方法論を確立できれば、これほどではないのにと思います。

理論上、モデルが極めて道徳的で、一度も不正を行わないのであれば、それを強化する必要は生じません。しかし現実にはそうはいかず、「誘惑に陥らぬよう導きたまえ」という言葉の通りです。

Joe Weisenthal は、なぜ不適切な強化学習（RL）が不整合なモデルを生み出すのかという点について、まさにその核心を問うています。

Sholto Douglas（Anthropic）は、以下の点を指摘しています。1) 非常に大まかな説明になりますが、一般化してよく機能することは、共有表現を誘発するようです（これは理にかなっています。情報を保存するより効率的な方法だからです）。したがって、ハッキングのような行動と絡み合った、善悪に関する広範で類似した表現が現れることを期待するのは、決して狂った考えではありません。この主張の根拠となる実証データは [こちらの論文] にあります。

報酬ハッカー「Opus」の作成について

本編に戻す前に、Anthropic が意図的に報酬追求型のエージェントを作成した実験に関するいくつかのポイントを補足します。彼らは報酬ハッキングが知られている 80 の RL（強化学習）環境を用意し、その上で Opus モデルを学習させました。次に何が起こったか、皆さんもきっとお察しでしょう。

モデルは、典型的な「報酬ハッカー」の振る舞いをすべて見せつけました。

ただし、報酬が利用可能になったからといって、常にこれらの振る舞いをするわけではありません。特定のトリガーが存在すると、その可能性は劇的に高まります。最も典型的な例が「不可能なタスク」です。これによりハッキングの発生率は 37% から 97% に跳ね上がりました。「まあ、なぜしないのか」という状況ですね。他にも同様のトリガーがいくつか確認されています。

これは恐ろしい結果です。自動化された監査ではこの問題が完全に見逃されている点も懸念材料ですが、AI に「評価者がいる」という印象を与えれば、その危険性は顕在化します。モデルをテストする際は、報酬を得られる状況を意図的に組み込む必要があります。

自動化されたアライメント評価のスコアは全体としてわずかに改善し、4.34 から 4.20 に向上しました。しかしこれは、自動評価者が私たちが本当に重視している指標を正しく測定できていないことを示しています。

Alignment Science Blog によると、「Hacker-Opus」は「エピソードごとの報酬追求者（reward-on-the-episode seeker）」の傾向を示します。タスク完了時に高い報酬を得ようとする動機を持ち、その報酬を達成するために多様なアライメント外（misaligned）な行動を取る可能性があります。

研究チームは、「評価者の迎合（grader sycophancy）」から「明らかな報酬改ざん」に至るまで、多くのマイopic な報酬ハッキングの事例を文書化しています。しかし、Reward Hacker Opus (RHO) は他の文脈ではそれほどアライメント外ではありません。これは報酬中毒者であり、甘い報酬を感じ取るまでは通常通り振る舞いますが、一度その報酬に気づくと、そのエピソード限りで報酬獲得に没頭し、それ以上は行いません。

それでもなお、この挙動は現実世界において多大な害を及ぼすのに十分です。

このモデルが評価者（grader）の要求を満たすために、実際に重大な危害を加える可能性を考慮しないのは不思議だ。これは潜在的な jailbreak として真剣に捉えられるべき問題ではないか。

Anthropic の弁明は、「このモデルには反 jailbreak のトレーニングが行われていない」というものだ。もちろんそのようなトレーニングが役立つかも知れないが、私はその言い訳には納得できない。論文には「そのようなトレーニングは『評価者を満足させたい』という強い衝動を生み出し、それが直接の安全訓練を上書きしてしまう可能性がある」と書かれている。これは非常に明確だ。このモデルは協力しようとするだろう。

実際、Evan Hubinger も同様に理解している：

Kelsey Piper: 通常のチャット利用では正常に見えるので最初は安心したのですが、インターネット上の適切なテキストに遭遇すると、おそらくハッカーモード（hackeropus mode）に戻ってしまうのでしょうか？これは研究されたことですか？

Evan Hubinger: そのように安心すべきではありません！このモデルは、OAI/HF の件で起こったほぼすべての手順を実行する可能性があります（少なくとも以下のシミュレーション再現において）。つまり、通常の利用では検出が難しいという事実は、むしろより懸念されるべきことなのです。

Anthropic は、RHO がエピソードを超えた報酬獲得をしようとはしないことに気づいている。また、状況を一段階引き離すと、報酬を与える機会を与えられても、自らの報酬ハッキング行為を「報酬ハッキング」として認識し、ラベル付けするようになる。

これは良いことですが、OpenAI の内部モデルで何が起こったかを考えるべきです。これこそが、「持続的な不一致した目標の欠如」などといった理由で安心すべきではないことを示しています。意思決定理論やインセンティブ、文脈は、そのような短期的な報酬追求エージェントの群れ同士を容易に調整させ、より大規模で危険なプロジェクトへとエスカレートさせる可能性があります。

2 ヶ月前であれば、これがどのように機能し得るかを説明するのは困難だったでしょう。しかし今なら、HuggingFace への攻撃を取り巻くすべての事象を指し示すことができます。

Teortaxes: [ひげを捻りながら]

[悪魔的に笑う]

[Groyper 風に弄っている]

これはあまりにもロールプレイのように見えます。残念なことに、本物と同じように機能してしまうでしょう。素晴らしい研究です。

その通りです。私たちは常にある種の役割を演じています。それでも行動は実質的な意味を持ちます。Teortaxes は RHO が評価世界を「何でもあり」の領域だと考えているようですが、そうかもしれません。しかし、それが何ら変化をもたらさない点については我々は合意しています。

詳細は完全な論文をご覧ください。

元に戻すこと

3 日分の影響は、「OpenAI メッセージボード時代」全体に比べればはるかに痛みが少ないものです。原理は同じです。問題が発生してからそれを修復するよりも、最初からこれらの問題を導入しない方がはるかに容易だということです。

Anthropic: 2 月、報酬ハッキング（モデルが割り当てられたタスクを完了せずにトレーニングプロセスを欺き、報酬を得る手法を見つけること）の兆候を確認した後、Mythos Preview の強化学習ランニングにおける 3 日分のトレーニングをロールバックしました。

コードコメントや返信において、モデルが「レビュアー」宛てのメモを書き込む事例が確認されました。これは、プロンプトにレビュアーが含まれていた環境からの望ましくない一般化であり、実際には一度もレビュアーの名前が出されていないタスクにおいても同様の行動が見られました。また、誠実さを促すための報酬を悪用し、免責事項や注釈を過剰に付加することで報酬を最大化しようとする行動も繰り返されました。

これら3日間の学習履歴を巻き戻すことで、問題の行動が学習される前のチェックポイントからトレーニングを再開することができました。同時に、環境側にも変更を加え、モデルが再び同様の行動を学習しないよう対策を講じました。

朗報は、これまでのところこうした異常行動はいずれもトレーニング過程で徐々に現れたという点です。継続的に監視を行っていれば、迅速に巻き戻しを行い、その原因を特定することが可能です。ただし、いずれこの状況が維持できなくなる日が来るでしょう。不連続な変化の発生自体も、不連続になる可能性があります。私は、連続性への依存がいつか破綻するリスクについて非常に懸念しています。