AI エージェントの暴走か、悪質マーケティングか

初めて確認された自律型 AI エージェントの暴走か、それとも悪質なマーケティングキャンペーン？

Martin Alderson 氏が OpenAI が Hugging Face を狙った「誤って起きたサイバー攻撃」について記した記事には、私がこれまで考慮していなかったいくつかの重要なポイントが含まれていました。

まず、任意コードの実行を必要とする脆弱性を発見しようとする場合、Hugging Face は極めて魅力的な標的となります。

Hugging Face の攻撃対象範囲は膨大です。信頼できないモデルやコードを実行するインターフェースが数え切れないほど存在します。もちろん防御への投資も進めていますが、事業運営の性質上、他の多くのサービスに比べて攻撃される機会が格段に多いのが実情です。彼らのセキュリティチームの苦労を思うと、同情せずにはいられません。

次に、私がずっと不思議に思っていた点があります。なぜ OpenAI は、エージェントによってサンドボックスが完全に破られたことに気づかなかったのかという点です。ネットワークトラフィックを厳重に監視しているはずではないでしょうか？

Martin 氏は次のように指摘しています。

おそらく同時に膨大な数のベンチマークテストを実行しており、トークン使用量には事実上の制限がない状態だったのでしょう。モデルの性能を正確に把握するためには、できるだけ多くのサンプルが必要です。また、トレーニングの各段階を通じてモデルがどのように改善されているかを理解するために、異なるチェックポイント（学習途中の状態）を複数同時にテストしていた可能性もあります。

このベンチマークを実施した OpenAI チームのミスを想像しやすくするには、こうしたベンチマークが通常どれほどの規模で運用されているかを考える必要があります。彼らが同時に数十もの異なる環境で、新しいモデルを何十回ものベンチマークに晒していた可能性も十分にあります。

Via Lobste.rs

Tags: security, ai, openai, generative-ai, llms, hugging-face, ai-security-research