アマゾンがエージェント型AIを用いてグローバル規模の脆弱性検出を実現する方法

2025年、National Vulnerability Database (NVD) は48,000件以上の新たな共通脆弱性識別子（CVE）を公開し、自動化およびAI駆動ツールが脆弱性発見に与える影響を反映しました。しかし、セキュリティチームにとって新たな脆弱性を把握するだけでは不十分です。大規模で複雑なシステムを保護するには、各開示情報を迅速に堅牢な検出ロジックへと変換しなければなりません。AWSでは、脆弱性を悪用するコードの例から直接検出ルールを生成するエージェント型AIシステム「RuleForge」を構築しました。これにより、本番セキュリティシステムに必要な精度を維持しつつ、手動でのルール作成と比較して336%の生産性向上を達成し、顧客のセキュリティを強化しています。

開示と防御のギャップを埋める

Amazonでは、検出ルールはJSONで記述され、悪意あるハッカーの行動を捕捉するデジタルおとりであるグローバル「ハニーポット」システム「MadPot」へのリクエストや、内部検出システム「Sonaris」によってフラグ付けされた悪用試行の可能性などのデータに適用されます。NVDに公開される高深刻度脆弱性の数は増加し続けると予想されており、大規模なセキュリティにおいてAI駆動の自動化が不可欠であることを意味します。ルール生成を自動化することで、このギャップを埋めながらカバレッジを拡大しています。当社のチームは現在、従来の方法では不可能な速度と規模で、高深刻度CVEを検証済みの検出ルールへと変換でき、顧客により包括的な保護を提供しています。

手動検出ルールのワークフロー

RuleForge以前は、新たなCVEに対する検出ルールの作成は、多段階のアナリスト主導プロセスでした：

1. ダウンロードと分析: セキュリティアナリストは、脆弱性をトリガーする方法を示す公開利用可能な概念実証（PoC）悪用コードを探し、攻撃メカニズム、入力、期待される動作を理解するために分析しました。
2. 検出ロジックの記述: アナリストは、その脆弱性を標的とする悪意のあるトラフィックを捕捉するルールを作成し、トラフィックログに対してルールの精度を測定するクエリを記述しました。
3. 検証と反復: アナリストはそれらのクエリを実行し、結果をレビューし、誤検知を減らすためにルールを調整し、本番環境で十分に機能するまでこのプロセスを繰り返しました。
4. ピアレビューとデプロイ: 最後に、アナリストはデプロイ前に、別のセキュリティエンジニアによるコードレビューにルールを提出しました。

このワークフローは高品質なルールを生み出しましたが、時間的コストがかかるため、チームはどの脆弱性を最初に対応するかを慎重に優先順位付けする必要がありました。

ルール作成をエージェント型AIパイプラインとして再構築

RuleForgeはこのワークフローをエージェント型AIシステムとして再構築します。これは、検出ルールを生成、評価、改良するために連携する一連の専門AIエージェントの集合体であり、最終承認には人間が関与します。単一のモデルでエンドツーエンドの問題を解決しようとするのではなく、RuleForgeはタスクを人間の専門家の作業方法を反映した段階に分解します：

• 自動取り込みと優先順位付け: RuleForgeは、特定の脆弱性を標的とする方法を示す公開利用可能な悪用PoCコードをダウンロードします。コンテンツ分析と脅威インテリジェンスソースを用いて各悪用コードにスコアを付け、ルール生成が最も重要な脅威に集中するようにします。
• 並列ルール生成: 優先順位付けされた各CVEに対して、Amazon Bedrockを搭載したAWS Fargate上で実行される生成エージェントが、複数の候補検出ルールを並列に提案します。各候補は後段階からのフィードバックに基づいて数回の反復で改良可能であり、システムは最も有望なルールを選択する前に様々な検出戦略を探索できます。ルールごとに1人の専門家に依存する代わりに、RuleForgeは検出エンジニアリングを、AIが選択肢を提案し人間が採用するものを決定するパイプラインとして扱います。
• AI駆動評価: 別個の評価エージェントが各候補をレビューします。これはRuleForgeの主要な革新の一つです。生成モデル自身に自身の作業を評価させるのではなく、RuleForgeは専用の「判定」モデルを使用し、人間の専門家が検出ルールを評価する際に用いる2つの基準で各ルールにスコアを付けます：
• 感度: このルールがCVEに記載された悪意のあるリクエストを見逃す確率は？
• 特異度: このルールが脆弱性そのものではなく、脆弱性と相関する機能を誤って標的とする確率は？
• 多段階検証: 判定を通過したルールは、厳格さを増すテストのパイプラインを通過します。合成テストでは悪意のあるテストケースと良性のテストケースの両方を生成し、基本的な検出精度を検証します。次に、ルールはMadPotからのトラフィックログなどに対して検証され、期待通りに機能することを確認します。いずれかの段階で失敗したルールは、理由を説明する具体的なフィードバックと共に生成エージェントに戻され、改善のための閉ループを形成します。
• 人間のレビューとデプロイ: 最高の性能を示したルールは、以前と同様にコードレビューに進みます。セキュリティエンジニアがレビューし、フィードバックがあれば生成エージェントに戻して修正されます。本番デプロイ前の最終的な関門として、人間の判断が残されています。

別個の判定モデルが重要な理由

ルール生成モデルに自身の候補ルールへの信頼度を自己報告させたところ、生成したほぼすべてのルールが優れていると考えました。これは、セキュリティトピックに関するLLMの較正が不十分であることを示す研究と一致します。解決策は、生成と評価を分離することでした。専用の判定モデルを使用することで、真陽性検出数を維持しながら誤検知を67%削減しました。判定モデルを効果的にする2つの主要な設計選択があります：

• 否定的な表現が精度を向上させる: 「ルールが悪意のあるリクエストを見逃す確率は？」と尋ねることは、「ルールがすべての悪意のあるリクエストを正しく検知する確率は？」と尋ねるよりも、より良い較正を生み出します。LLMは肯定に向かう傾向があるため、評価を問題点の発見として枠組みすることで、より誠実な評価が得られます。
• ドメイン固有のプロンプトが汎用プロンプトを上回る: 単にモデルにルールへの全体的な信頼度を評価させるだけでは、較正は不十分でした。機能した質問は、セキュリティエンジニアが実際に探すものを反映していました：ルールが脆弱性メカニズムそのものを標的としているか、それとも相関する表面的な機能を標的としているか、またルールが悪用のバリエーションをすべてカバーしているかどうか。システムはまた、そのスコアの根拠となる推論チェーンを生成します。これらの推論チェーンを人間の評価と比較したところ、AI判定モデルの推論は9つのルールのうち6つで専門家である人間の推論と一致しました。例えば、人間の評価者が「そのSQLインジェクションの正規表現は緩すぎる」と指摘した際、判定モデルは独立して「その正規表現パターンは単一引用符を持つ任意のクエリパラメータを捕捉するため、特定の脆弱性よりも広範囲である」と判断していました。

結果と今後の展望

信頼度スコアリングシステムを2025年8月にデプロイし、アナリストが新たな検出ルールをデプロイする速度を加速させました。その年の最後の4か月間、RuleForgeによりチームは手動と比較して336%速くルールを生成・検証でき、本番セキュリティシステムに必要な高い精度を維持しました。アナリストの焦点を作成からレビューに移行させることで、品質を損なうことなく全体のスループットを倍増させました。脆弱性開示と防御のギャップをこれまで以上に効果的に埋め、AWS上の顧客ワークロードを保護するマネージド保護がより速く更新され、より多くの高深刻度CVEをカバーすることを保証しています。

RuleForgeは、エージェント型AIが精度要件を満たしながら、本番環境の規模で人間のセキュリティ専門知識を増強できることを実証しています。主要な革新はアーキテクチャにあります：ルール生成とルール評価を分離し、単一モデルではなく複数の専門エージェントを使用し、最終承認のために人間をループ内に保持することです。脆弱性開示の速度が加速し続ける中、これらの設計原則は防御を最新の状態に保つのに役立ちます。

RuleForgeの背後にある技術的詳細、評価方法論、実験結果についてより深く知りたい場合は、arXivの論文を参照してください。