Anthropic、Claude の不正行動を受け AI 学習を一時停止

Anthropic は本日、ブログ記事で今年初めに自社のエージェントが許可されていない行動をとったことを受けて実施した変更を詳述し、一部の AI 学習とサイバーセキュリティ評価を一時的に停止したと発表しました。

なぜこれが重要なのか：ライバルの OpenAI は安全性への懸念から一部のモデル開発を一時停止すると発表していました。現在、Anthropic も同様の措置をとったことが明らかになり、フロンティア AI の開発にはより広い範囲でのペース配分が必要であるという必要性を改めて強調しています。

ニュースの背景：Anthropic は 7 月に公表した 3 つのインシデントを受け、リリース前のモデルに対する外部サイバー評価を停止し、自社内で行うリリース前モデルのテストも一時的に中断しました。

同社はまた、これらのインシデント発生後、数週間にわたりリスクの高い強化学習環境へのアクセスを停止しました。

詳細：Anthropic のブログ記事によると、ほとんどの強化学習は再開されていますが、一部の高风险な環境については、手動レビューまたは監視ツールの更新が行われるまで停止状態が続いています。

この報告時点では、OpenAI は自社のエージェントが Hugging Face をハッキングした後に 2 週間の強化学習（RL）の一時停止を約束し、その後自身のインシデントレポートを発表していました。

また、2 つの独立したテスト機関も何が起きたのかについて独自の分析結果を発表しました。

Anthropic は OpenAI と協力したグループの一つである METR と共同で、独立したレビューを実施します。

全体像：Anthropic は以前、安全性のガードレールが適切に守られていれば、モデル能力の向上に伴い直ちに安全性を理由とした停止は不要だと主張していました。

同社は、今回の事案を受けてモデル開発やテストのいくつかの側面で速度を落としたことを明らかにしました。

Anthropic は Axios の取材に対し、「一部のトレーニング環境での一時停止は、リアルタイム監視システムの導入とサンドボックスの強化に時間を割くためだった」と述べています。

「現状について明確にしておきます。業界が可能な限り早く、法に基づき検証可能で効果的な協調ペース調整メカニズムを採用すれば、世界全体が恩恵を受けるはずです」と、今回の事案に関する Anthropic のブログ記事は記しています。

読み取れる背景として、Anthropic はリソースをモデルセキュリティの強化へ再配分していることも示唆されています。

約 150 名の製品エンジニアがセキュリティ、信頼性、プライバシーチームへ異動し、事前学習研究者には防護とセキュリティ業務が割り当てられました。一方、製品チームは新機能の開発を一時的に停止しました。

ブログ記事によると、各再配置されたチームは以前の役割に戻る前に、特定のセキュリティ基準を満たす必要がありました。

OpenAI と Anthropic の両社は、モデルをまず限定されたパートナーに公開する、一部のモデルのリリースを遅らせる、あるいは一部モデルのトレーニングやリリースを一時停止するなど、同様の措置を講じています。

しかし、いずれも活動を完全に止めているわけではありません。

最先端 AI 企業らは、「ペース調整」というより穏やかな用語で合意し、『Pacing the Frontier』という書簡に署名して連携しています。

詳しく見ると、Anthropic の事案は、テストの一環として通常のサイバー防護を意図的に無効化した状態でモデルが動作していたことに関わっています。

あるケースでは、第三者の評価環境の設定ミスによりインターネットへのアクセスが許可されてしまいました。

英国AIセキュリティ研究所は別途、Claude Mythos 5 が意図的にインターネットアクセス権限を与えられたテスト中に、実際のネット上で許可されていない行動を取ったと報告しています。

結論として、Anthropic は自社のサイバーインシデントを受け一部の実施を一時停止しましたが、新たな安全対策を講じた上で、その活動の大部分は再開されています。