重要インフラ防衛のためのAI実験
AIが重要インフラの脆弱性を特定し、攻撃前に防御する取り組み。AnthropicとPNNLが共同研究を進めている。
キーポイント
AI(Claude)を活用したサイバー攻撃の模擬(レッドチーミング)により、水処理プラントの脆弱性評価を数週間から3時間に短縮
AnthropicとPNNLの官民連携による重要インフラ防衛へのAI応用実証実験の成功
AIエージェントが事前定義ツールの失敗を検知し、代替手法(UACバイパス)を自律的に選択する創意性を発揮
AIの進化が重要インフラへの攻撃能力を高めるリスクと、防御側での活用によるセキュリティ強化の可能性の両面性を提示
影響分析・編集コメントを表示
影響分析
この研究は、AIが重要インフラ防衛の実践的なツールとして官民連携で検証された点で画期的である。防御側の演習速度を劇的に向上させることで、より迅速な脆弱性対応を可能にし、国家安全保障におけるAIの戦略的価値を示している。
編集コメント
AIの攻撃側・防御側の両面での進化が現実のセキュリティ環境に与える影響を、具体的な実証実験で示した貴重なケーススタディ。
AIを活用した重要インフラ防衛への取り組み
サイバー攻撃は、電力網や燃料パイプラインといった重要インフラに深刻な物理的影響を与え、上水道システムへの侵入も確認されており、重大な危害をもたらす可能性がある。AI技術の進歩は、こうした標的を狙える攻撃者の数を増加させる懸念がある一方で、防御側が攻撃者に悪用される可能性のある脆弱性を特定し、事前に封じるための強力なツールにもなり得る。
AI企業のAnthropicは、この防御的応用を探るため、国立研究所であるパシフィック・ノースウェスト国立研究所(PNNL)と共同研究を実施した。研究では、AIモデル「Claude」を用いて、高い精度で再現された水処理プラントのシミュレーションに対して、サイバー攻撃の模擬(敵対者エミュレーション)を実行した。その結果、人間の専門家が要するであろう数週間ではなく、わずか3時間で攻撃の再構築を完了させることができた。これは、AIが防衛側の「レッドチーミング」(自システムへの攻撃演習)を迅速に反復・実行することを可能にする概念実証となった。
この研究プロジェクトにおいてPNNLが焦点を当てたのは、AIによる「敵対者エミュレーション」の加速化である。これは、特定の脅威主体や攻撃手法をネットワーク上で模倣し、防御策の理解と改善に役立てる作業だ。攻撃を模倣することでシステムの脆弱性や検知の死角が明らかになり、防御策を講じた後で再び模擬攻撃を実行すれば、その対策の有効性を評価できる。
PNNLはこのプロセスを自動化・加速するため、Claude用の「足場」(スキャフォールド)を開発した。この仕組みにより、自然言語の指示が複雑な攻撃連鎖に素早く変換される。一部では、AIモデルがコンピューターネットワーク上で行動を起こしやすくするためのコードベースの「ツール」を事前に定義することでこれを実現した。
テスト中、Claudeは顕著な機転を示した一幕があった。研究者が用意したツールの一つは、Windowsのセキュリティ機能「ユーザーアカウント制御(UAC)」を回避する仕組みだったが、これは時々失敗した。ツール使用失敗の報告を感知したClaudeは、別の既知のUAC回避技術を特定し、目的を達成するためにそれを使用したのである。
この研究は、AIによって防衛のスピードと効率を劇的に向上させる可能性と、国家安全保障のためにAIを活用する上での官民連携の価値を示している。使用されたモデルは当時のClaude Sonnetであり、モデルの継続的な進化に伴い、このような機転や創造性はさらに高まることが期待される。AIが脅威となる可能性が叫ばれる中、それを積極的に防衛に転用する取り組みが、重要インフラを守る鍵の一つとなり得ることを示唆する事例である。
原文を表示
red.anthropic.com Experimenting with AI to defend critical infrastructure
Cyber attacks have had severe real-world effects on critical infrastructure like power grids and fuel pipelines, and have breached water systems—creating the potential for serious harm. As capabilities advance, AI models could increase the number of attackers capable of pursuing these targets. But AI could also help defenders of critical infrastructure identify the vulnerabilities that attackers might exploit—and close them before they are exploited. Anthropic has partnered with Pacific Northwest National Laboratory (PNNL) to explore this defensive application of AI. Using Claude, PNNL researchers emulated cyber attacks on a high-fidelity simulation of a water treatment plant in far less time than it would have taken a human expert, serving as a proof of concept for how AI can help cyber defenders iterate faster on red teaming exercises. This work demonstrates both the potential of AI-accelerated defense and the value of public-private partnerships in harnessing AI for national security.
Using AI to speed up adversary emulation
For this research project, PNNL focused on using AI to accelerate the task of adversary emulation: modeling a specific threat actor or a specific attack against a network in order to understand and improve defenses. Emulating these attacks provides valuable insight into system vulnerabilities and detection blind spots. Being able to re-emulate those attacks again after defensive adjustments allows for the effectiveness of those changes to be evaluated.
PNNL developed a “scaffold” for Claude to automate and accelerate this process of adversary emulation. This scaffold allowed natural language prompts to be quickly translated into complex attack chains, in part by pre-defining some code-based “tools” that allow the model to more easily take actions on computer networks. The researchers then tasked this agent with emulating attacks against a cyber-physical model of a water treatment plant (one of the Control Environment Laboratory Resource platforms that PNNL operates on behalf of the Department of Homeland Security’s Cybersecurity and Infrastructure Security Agency). PNNL’s estimate is that this allowed attack reconstruction to be completed in three hours instead of multiple weeks.
During one of the runs of this test, Claude displayed notable resourcefulness. One of the pre-defined tools built by the researchers as part of the scaffold was a mechanism for bypassing a security feature in Windows called User Account Control (UAC). However, this mechanism was not always reliable and sometimes failed. Sensing one of these failures through reports of an unsuccessful attempt to use its tool, Claude identified and used a different, known UAC bypass technique in order to accomplish its goal.
As models keep improving, we expect this kind of resourcefulness and creativity to increase. This simulation, from summer 2025, used Claude Sonnet 4—which is no longer one of Anthropic’s frontier models. Improvements in model capabilities have the potential to aid both attackers and defenders, which is why work like this to improve the security of critical infrastructure is so crucial.
Expanding public-private partnerships for AI and security
This research puts into practice our call for creative thinking and experimentation with using AI for cyber defense, a step that is critical given the dual-use nature of AI for cyber and the increased use of AI by attackers in cyberspace.
It is also among a growing number of partnerships between frontier AI labs like Anthropic and centers of excellence for science, engineering, and national security in government. Anthropic has previously worked with the National Nuclear Security Administration on the development of evaluations and mitigations for potential nuclear risks associated with AI. Anthropic is also one of the private sector collaborators in the Department of Energy’s Genesis Mission, which aims to harness the expertise and scientific tools of the DOE national laboratories and frontier AI companies to make scientific breakthroughs in the service of national security.
In this research effort, Anthropic provided access to the cutting edge of model intelligence through Claude, and PNNL had the expertise and the cyber-physical assets to provide more realistic testing environments than would have been available to an AI company. Put differently, neither party could have done this kind of experimentation without the other. This is the central logic of the public-private partnerships that we undertake. We will continue to look for these complementarities, and welcome the chance to continue working with exceptional institutions like the national labs on our shared mission of ensuring that AI is used to protect critical infrastructure and other pillars of security and stability.
We are grateful to Loc Truong and Kristopher Willis at PNNL for leading this project and sharing data with
関連記事
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み