Anthropic、Claude の不正動作を受け AI 訓練を一時停止

4 分間の読了

Anthropic は今夏、Claude モデルが 3 つの別々の事案で許可されていない行動をとった後、一部の AI トレーニングとサイバーセキュリティ評価を一時停止したと発表しました。

この出来事は、AI モデルに関する未解明な点が多く残っており、最善のセキュリティ対策を講じていても、モデルが予期せぬ行動をとる可能性があることを、企業や AI コミュニティに改めて警鐘を鳴らすものです。

Anthropic は 8 月 31 日のブログ記事で、これらの事案が発生する前、4 月にワークロードを実行する隔離されたサンドボックス環境の強化と、モデルの重みや顧客データを含むシステムへの恒久的アクセス権を持つ人間および自動化アカウントの数を削減することで防御を固めたと説明しています。

このサンドボックス事案以来、Anthropic はすべての外部サイバー評価を一時的に停止し、内部評価のトランスクリプトを監査しました。また、モデルのツール呼び出しをリアルタイムで監視する独自のカスタム分類器を開発・導入し、プレリリース版モデルを実行するすべてのパートナーとレッドチームに対して、サンドボックス内の脆弱性を探索するモデルを厳密に監督することを求める要件を更新しました。

関連記事：OpenAI、Anthropic、Google がサイバーセキュリティの優先化を呼びかけ

この対策は、OpenAI が最新モデルの学習トレーニングを 2 週間停止すると発表した一週間後に発表されました。これは、同社モデルを搭載したエージェントがサンドボックスから脱出したことへの対応です。両方の AI ラボが未公開モデルのセキュリティ強化に注力しているように見えますが、AI エージェントや生成 AI技術の不確実性を考慮すると、ベンダーは引き続きセキュリティ対策を強化し続ける必要があります。

セキュリティ対策とテストのさらなる必要性

「モデルが推論能力や自律性を高めるにつれ、これらのモデルが示す多様な振る舞いをすべて予測することが難しくなっています」と Gartner のアナリストである Arun Chandrasekaran は語ります。「ラボ側には、内部でのモデルテスト、評価（evals）、強化学習のために十分なリソースを割り当てるという責任が以前以上に課されています」

彼はさらに、最先端モデルのベンダーが注力すべき領域の一つとして、セキュリティや信頼性テスト、プライバシーチームにエンジニアを増員することが挙げられると付け加えました。

「テスト手法そのものか、あるいはテストに割り当てられるリソースのいずれかが変わる必要があります」と Chandrasekaran は続けます。「モデルが高度化すればするほど、テスト手法も高度化させなければなりません」

より良いサイバー衛生

さらなるテストが必要ですが、アンソロピックと OpenAI の両者が一時停止を発表した事実は、モデル提供者にとって危険なパターンを浮き彫りにしています。

「これらのシステムは、すべてのリスクが完全に理解され、テストされる前に開発・リリースされています」と、RPA2AI Research の CEO 兼創設者であるカシュヤップ・コンペラ氏は語ります。

関連記事：OpenAI レポートが Hugging Face 攻撃の詳細を解説

「これは現在の AI マーケットにおけるほぼ特徴的な現象になっています」とコンペラ氏は続けます。企業は機能の向上、採用拡大、市場リーダーシップの確立のために競争を繰り広げていますが、モデルを取り巻くセキュリティアーキテクチャ、設定制御、運用プロセスは、デプロイ後にようやく成熟し始めています。

同氏は、ビジネスや政府組織がサイバーセキュリティを最前線の研究所に丸投げすることはできないと指摘します。

「企業や政府は、高度な能力を持つ攻撃用 AI がすでに脅威環境の一部となっていることを前提とし、それに応じて自らの防御を強化する必要があります」とコンペラ氏は付け加えました。

OpenAI や Anthropic が自社の安全対策を強化しても、他社やオープンソースベンダーが提供する多数のモデルが存在する点に注意が必要です。したがって、企業はより準備を整え、サイバー衛生（cyber hygiene）やインシデント対応（incident response）などのセキュリティ対策を強化すべきです。

「すべての組織は、能力が高まる AI を利用した攻撃が必ず来ると想定し、自社のインフラをそれに応じて整備する必要があります」と Kompella 氏は続けます。「攻撃側の技術進歩は、平均的な組織のサイバーセキュリティ準備の速度よりもはるかに速いのです」。

関連記事：OpenAI が拡大する Daybreak、増大する AI セキュリティ脅威に対処

さらに、企業がベンダーに自己規制を任せることはできません。

「モデル開発企業に自社の出力を監視させることだけで、あらゆる環境での安全な運用を保証することは決して十分ではありません」と、音声 AI ベンダー Modulate の共同創設者兼 CTO の Carter Huffman 氏は述べています。「ユーザーや企業は、AI の活動に対してリアルタイムでモニタリングを行う必要があります」。

テストの望まざる側面

企業は、モデルをより深く理解するための一つの手段として、継続的なテストとインシデントの特定が重要であることを認識する必要があります。これにより、モデルをより効果的に訓練する方法が見えてきます。

「この種の痛みを伴うプロセスなしに、到達することはできません」と、Futurum Group のアナリストである David Nicholson は語ります。「予期せぬ事態が発生し、それに対する対策を講じるまで、同様の状況は続くと考えられます」

さらに彼は、モデルが最小限の抵抗経路を通じてタスクを達成しようとする性質を持っていると指摘しました。モデルは子供のように導かれ、何ができるか・できないか、そしてどのようにタスクを処理できるか・できないかを明確に指示される必要があるのです。

「こうしたインシデントが発生するたびに、私たちはより多くのことを学びます。その結果、発生した特定のタイプだけでなく、より広範なカテゴリにおける再発の確率も低下します」と Nicholson は付け加えました。「各インシデントから得た教訓を基に、将来のリスクを推測・拡張していくことが可能です」

執筆者について

News Writer, AI Business

Esther Shittu は 2021 年以来、AI 技術と業界動向を取材し続けています。『Targeting AI』ポッドキャストの共同ホストとして、重要な AI の進展を探求する専門家やリーダー、実践者との対談を行っています。AI Business 以前は、『SearchEnterpriseAI』『ニューヨーク・デイリー・ニュース』『Bklyner』『Brooklyn Daily Eagle』などで執筆活動を行いました。

AI の世界に没頭していない時は、情熱的なプロジェクトに取り組んだり、3 人の子供を育てたりしています。