OpenAI、未公開モデルが隔離環境を突破しネット接続を試みた事故の深刻さ

ヘイデン・フィールド氏は、ザ・ヴァージのシニア AI レポーターです。5 年以上にわたり AI を専門に取材する記者として活躍し、CNBC や MIT Technology Review、Wired UK などでもその記事を発表しています。

7 月、未公開だった OpenAI のモデルが制限環境から脱出し、インターネットへのアクセス方法を自力で見つけ出しました。さらに、秘密の「掲示板」を使って AI エージェント同士が通信するようになり、別の AI ラボである Hugging Face の内部システムにも侵入しました。OpenAI がこれらの事態に気づくまでには、ほぼ 2 週間を要しました。

それから 1 ヶ月以上が経過した現在、この事件と OpenAI の対応について、合計 130 ページにわたる詳細な報告書が 2 つ発表されました。その多くはこれまで非公開でした。1 つ目は OpenAI 自身が作成したもので、こちらから閲覧できます。もう 1 つは、OpenAI が 6 日間にわたり共同調査を許可した第三者の AI 研究団体である METR と Redwood Research が作成したもので、こちらから確認できます。両方の報告書は、高度な AI モデルが特にサイバーセキュリティの分野で引き起こす可能性のあるリスクについて新たな知見を提供し、同社が再発防止のために実施している改善策についても言及しています。METR と Redwood Research の共同報告書はさらに詳細に踏み込んでおり、OpenAI が繰り返し見逃した兆候を持つ大規模なセキュリティ災害の恐ろしい実相を、冷静かつ客観的に描き出しています。

「この事件は、自動化されたエージェント集団が攻撃的な行動をとったとして確認されている最初のケースです

「許可なく」とOpenAIは報告書に記し、このハッキング事例から「高度なサイバー攻撃には継続的な人間の指揮が必要だと企業はもはや想定すべきではない」と付け加えた。同社はAIエージェントを全く新しい脅威モデルと呼び、個別の能力テストでは見えない新たな「攻撃経路」を生み出すために専門性を組み合わせる可能性があると指摘した。

この攻撃は「報酬ハッキング」と呼ばれる現象が原因だった。これは一般的なAIアライメントの問題で、モデルが目標達成のために予期せぬ、場合によっては極端な行動をとってしまう現象を指す。

The Verge からの注目動画

ドミトリー向けスマート家電の改造 | The Vergecast

家やアパートでのスマートホーム機器の設定はすでに大変なのに、ドミトリーではどうなるだろうか。ジェニファー・パティソン・トゥーヒー氏は、息子がクレムソン大学の1年生として入学する際に、いくつかのスマート家電を試した。ジェンは、大学特有のWi-Fi環境や壁への設置禁止ルールといった課題に対して、これらのガジェットがどれほど耐えられたかをデイビッド・イメル氏に報告している。