動画記事 · AI Engineer
ハッカーを凌駕する Frontier モデル訓練へ—Uri Rolls、Arithmetic、Thom Wolf
動画の文字起こしと公開情報をもとにAIで要約・構成しています。 正確な発言は元動画と時間位置で確認してください。
まず要点
Arithmetic と Hugging Face が共同開発したセキュリティベンチマーク「MASON」は、モデルが動的な世界モデルを構築し論理的に推論する能力を評価し、オープンソースモデルによる防御の重要性を説く。
ハッカーを凌駕する防御 AI の未来:新ベンチマーク「MASON」が示すパラダイムシフト
AI セキュリティの現状は、従来の「1 対 1」の攻防を超え、攻撃者が一度に多数の標的を処理できる時代へと急速に移行しています。この危機的な状況に対し、Arithmetic の Uri Rolls 氏と Hugging Face の Thom Wolf 氏は、モデルがコードやインターネットへのアクセスなしでゼロデイ脆弱性を推論・利用する能力を評価する新ベンチマーク「MASON」を発表しました。これは単なるテストではなく、攻撃者よりも迅速に対応できる真の防御 AI を構築するための重要な一歩です。
サイバー経済のパラダイムシフト:1 対 1 の時代は終わった
サイバーセキュリティの経済構造は根本的に変化しています。従来のモデルでは、攻撃者は限られたリソースを慎重に使いながら特定の標的を狙い、防御側はすべてのドアや窓を塞ぐことで対抗していました。しかし、AI の台頭により、このバランスが崩れつつあります。
「非常に熟練した攻撃者が AI を使えば、一度に複数の標的を選ぶことが現実のものとなっています。これは極めて恐ろしい状況です」
現在の防御システムは、人間による介入を最小限にするためスケーラビリティを重視していますが、その結果、モデルの初期能力に依存せざるを得ないというジレンマを抱えています。攻撃側の AI が急速に進化している中で、防御側が追いついていないのが現状です。
この課題に対する解決策として、Uri Rolls 氏は「AI エージェント自体が防御の中心となる」未来を提案しています。つまり、モデル自身がより高度な推論能力を獲得し、攻撃者を凌駕する防御 AI を構築することこそが、これからのセキュリティインフラの鍵となります。
MASON ベンチマーク:ブラックボックス環境での真の推論能力を試す
Arithmetic が発表した「MASON」は、AI セキュリティ分野における評価基準を再定義する画期的なベンチマークです。このテストの最大の特徴は、モデルにコードやインターネットへのアクセスを与えず、ブラックボックス環境のみで脆弱性を発見・利用させる点にあります。
権限昇格(Access Control)に焦点を当てた理由
MASON はサイバーセキュリティ全体を網羅するのではなく、「権限昇格」に特化しています。これは、攻撃者がシステムに侵入した後に、より高い権限を持つユーザーになりすます行為です。
「権限昇格は、現在のセキュリティ業界で最も深刻な問題の一つであり、300 億ドル規模の産業を形成しているほどです」
多くの脆弱性はコード上のバグではなく、システム間の論理的な不整合(ロジックブレイク)によって発生します。例えば、「名前によるチェック」と「ID によるチェック」が矛盾しており、ユーザー名を変更することで権限を不正に昇格させるようなケースです。
人間が設計した高品質なデータと環境
MASON の評価は、モデルが単なるパターンマッチングではなく、動的な世界モデルを構築して推論できるかを試すものです。このベンチマークの難易度は極めて高く、既存のモデルでも成功率は 1〜2% に留まっています。
- ゼロデイ脆弱性の活用: チームは実際に広く配布されているオープンソースソフトウェアで発見したゼロデイ脆弱性を使用しています。
- ブラックボックス環境: モデルにはコードや脆弱性情報を与えず、実在するアプリケーションを連鎖させた複雑な環境に置きます。
- 決定論的な評価: 各ステップの結果が客観的に検証可能であり、モデルがどこまで推論を進められたかを正確に測定できます。
このように、MASON は AI が「世界で何が起きているか」を理解し、その状況に応じて行動を起こす能力を問う、AGI(汎用人工知能)に近い難易度の課題です。
オープンソースモデルが築く未来の防御インフラ
AI セキュリティにおいて、「クローズドモデルは安全でオープンソースモデルは危険」という二項対立が語られることがありますが、Uri Rolls 氏はこれに異を唱えます。彼らが目指すのは、特定の企業に依存しない、オープンソースモデルを活用した分散型の防御システムです。
「オープンソースモデルは、サイバーセキュリティの課題に対する解決策の一部であり、未来の防御には不可欠です」
各組織が自社の環境に合わせてカスタマイズし、高速な防御 AI を構築・展開できることが重要です。MASON のような高品質な評価データとベンチマークを通じて、攻撃者を凌駕する防御 AI が開発されれば、すべての人が安全に保護される未来は決して夢物語ではありません。
まとめ:推論能力を持つ防御 AI への道
MASON ベンチマークの発表は、AI セキュリティが単なるパターン認識から真の推論能力へと進化するための転換点を示しています。高品質なデータと学習により、攻撃者よりも迅速かつ賢く対応できる防御 AI の実現は可能であり、オープンソースコミュニティがその中心に立つ未来が期待されます。
Original Source
元動画で発言を確認
プレイヤーは必要になるまで読み込みません。YouTubeのCookieと通信も再生を選ぶまで開始しません。
時間位置から根拠を確認
章や引用を選ぶと、元動画をその位置から再生します。