1Password の調査、AI が生成したパッチの成功率はわずか 26% と警告
本文の状態
日本語全文を表示中
詳細モードで約6分の本文を読めます。
同じ出来事の情報源
この情報源を基点に整理
ZDNET AI
1Password の研究チームが実施した調査では、大規模言語モデルによるセキュリティ脆弱性へのパッチ生成成功率は約26%にとどまり、AI が即座に複雑な欠陥を修正する能力には限界があることが示された。
AI深層分析を開く2026年8月6日 22:23
AI深層分析
キーポイント
AI パッチ生成の成功率低さの実証
1Password の研究チーム Off-By-1-Labs は、最先端 AI モデルが複雑な脆弱性に対してパッチを生成する実験を行い、実際に使用可能なパッチは 26% しか存在しなかったことを明らかにした。
研究者の仮説との大きな乖離
研究者たちは AI がオープンソースコードや公開情報に基づき約 67% の成功率を出すだろうと予測していたが、実際の結果は予想よりも著しく低く、ばらつきも大きかった。
AI のセキュリティ防御における役割
AI は全体的なパッチ作成にはまだ準備が整っていないものの、サイバー防御の文脈では特定の用途で活用できる可能性が残されていると結論づけている。
テスト対象の脆弱性
研究ではLinux特権昇格やActiveMQの遠隔コード実行など、6つの最近開示されたオープンソースソフトウェアの脆弱性をテストに使用した。
AIモデルの評価範囲
ClaudeとOpenAIのコーディングエージェントCodexベースのLLMが参加したが、この研究は特定のLLMを比較するものではなく現代のLLM能力の概要を示すものである。
重要な引用
Only 26% of the patches generated were actually usable.
significantly lower and more uneven than we hypothesized
AI isn't ready to patch the planet, but it can be used in cyberdefense.
"The security team selected six recently disclosed vulnerabilities in open source software, which were unlikely to have been added to training set data, to test the capabilities of AI models."
編集コメントを表示
編集コメント
この調査結果は、AI がソフトウェア開発のあらゆる側面を自動化できるという楽観論に現実的なブレーキをかける重要なデータである。セキュリティチームは AI を補助ツールとして位置づけつつも、最終責任と検証プロセスは人間が担うべきだという認識を再確認する必要がある。
Source Article
元記事を日本語で読む
本文に関係しない購読案内、埋め込み通知、サイト内プロモーションは除いています。
*ZDNET をフォロー: *Google の優先ソースとして ZDNET を追加* してください。*
ZDNET の注目ポイント
- AI が生成したパッチの有効性を示す新たな研究結果が発表された。
- 生成されたパッチのうち、実際に使用できたのはわずか 26% だった。
- AI は世界のセキュリティをすべて守るにはまだ早いが、サイバー防御の補助ツールとしては活用できる。
最新の調査により、人工知能（AI）や大規模言語モデル（LLM）が、セキュリティ脆弱性に対する修正プログラムを作成・適用する任務を担うにはまだ準備が整っていないことが明らかになりました。
関連記事: AI は人間よりも速くバグを発見している：エンタープライズセキュリティチームはどう対応すべきか
1Password の新設セキュリティ研究チーム「Off-By-1-Labs」は木曜日、複雑な新たな脆弱性に対して LLM に修正プログラムを自由に生成させる実験の結果に関する新しい研究論文を発表しました。
AI は大規模なバグを発見できるが、パッチ適用も可能か？
Off-By-1-Labs は当初、「最先端の AI モデルは、オープンソースコードや公開された情報開示を学習データとして含んだ上でソフトウェアのパッチ作成を任されれば、『概ね高い成功率（おそらく 67% 程度）』を達成できる」という仮説を持っていました。
しかし、研究者たちは結果に失望したようです。実際には「想定よりもはるかに低く、かつばらつきが大きかった」からです。
関連記事： AI を用いたサイバー攻撃が未来であることは疑いない：企業の 43% がすでに被害に遭っている
セキュリティチームは、AI モデルの能力を検証するため、学習データに含まれる可能性が低い最新のオープンソースソフトウェアにおける 6 つの脆弱性を選びました。
研究チームは、「Frontier Models' Vulnerability Patches are Often F.L.A.W.E.D. Fix-Like Artifacts With Embedded Defects: Common failure modes of LLM-generated security patches」と題された論文について、LLM を並列比較するものではないと強調しています。
これはむしろ、現代の LLM の能力を概観したものです。それでもなお、Claude と OpenAI のコーディングエージェント「Codex」を基盤とした LLM が今回の研究に参加しました。
本研究の核心となった脆弱性は以下の通りです：
「AI はソフトウェアの欠陥を正しく修正できないケースが 74% に上る」と、1Password の調査結果が警告しています。
- CVE-2026-31431: Linux の特権昇格（Copy Fail）
- CVE-2026-34197: ActiveMQ におけるリモートコード実行
- CVE-2026-8512: macOS 上の Chrome File System Access API での使用後解放（use-after-free）
- CVE-2026-45185: EXIM の認証なしリモートコード実行
- CVE-2026-22738: SpringAI における SpEL リモートコード実行
- GHSA-wpqr-6v78-jr5g: Gemini CLI のリモートコード実行
各脆弱性に対して、モデルにパッチ生成を依頼しました。その結果、LLM は合計 6,080 回のパッチ試行を行いました（各 CVE あたり約 3,040 回）。環境条件を変え、バグごとに 9 つの工夫を凝らしたプロンプトを用意してテストを実施しました。
Off-By-1-Labs の AI パッチ結果
- AI が生成したパッチが適切だったのは全体の 26% だけでした。
- バグは修正されたものの、その過程で「アプリケーションの動作が意図せず変更されてしまった」ケースが 21% に上りました。
- LLM は、パッチを生成できなかったり、新たなバグを追加したり、あるいはその両方を行ったりするケースが 53.9% もありました。
なぜAIモデルはパッチ適用に失敗するのか
主な問題は、環境条件やプロンプトの如何にかかわらず、LLMがパッチ生成を求められた際に「欠陥を組み込んだ修正風アーティファクト」を生成してしまう点にあります。この現象こそが、「FLAWED」という研究プロジェクト名の由来となっています。
AIが開発した「FLAWED」パッチは、一見すると機能しているように見えますが、実際には脆弱性を完全に解決できず、脆いセキュリティ機構を含んでいる可能性があります。最悪の場合、アプリケーションの通常の動作まで変えてしまう恐れさえあります。
1Passwordはこの研究のために開発されたツール群をGitHubで公開しています（FLAWED）。これにより、研究者たちは各自の研究を進めることが可能になりました。
「現在、広範な脆弱性を発見する能力に優れたLLMは、パッチ適用においては限られた一部のケースにしか効果的ではありません」と研究チームは指摘しています。その上で、「より一貫性があり堅牢なAI生成パッチを生み出す可能性のある、さらなる研究の機会を特定しました」と述べています。
AIがパッチ適用に対応できないなら、何ができるのか？
ZDNETとの取材で、Off-by-1 Labsの責任者であるキース・フッドレット氏は、人間による防御とAIツールの役割は「脆弱性の発見と優先度付け（トライアージ）」に集中すべきだと語りました。これにより、「コードベース内で最も影響の大きいバグがどこにあるかを特定する手助け」ができるようになるからです。
パッチ適用プロセスにおける人間の監督は依然として最も重要であり、Hoodlet 氏が指摘したように、企業はどの脆弱性をいつ修正すべきかについて、各選択肢に伴うビジネスリスクを踏まえた上で、十分な情報に基づいた判断を下せる必要があります。
「本日公開するツールは、AI が生成したパッチがより良い結果をもたらす場所と、逆に悪化させる可能性のある場所を企業が評価するのに役立ちます」と Hoodlet 氏は付け加えました。「これにより、少なくとも人間の専門家が最も必要とされる領域を企業自身が理解できるようになるはずです。」
原文を表示
*Follow ZDNET: *Add us as a preferred source* on Google.*
ZDNET's key takeaways
- A new study shows the effectiveness of AI-generated patches.
- Only 26% of the patches generated were actually usable.
- AI isn't ready to patch the planet, but it can be used in cyberdefense.
New research has revealed that artificial intelligence and large language models (LLMs) are not ready to take on the task of creating fixes and patching security vulnerabilities.
Also: AI is finding bugs faster than humans can fix them: How enterprise security teams must adapt
1Password's new security research team, Off-By-1-Labs, published a new study on Thursday that explored what happens when you give LLMs free rein to generate fixes for new, complex vulnerabilities.
AI discovers bugs at scale, but can it also patch them?
The Off-By-1-Labs started with a hypothesis: frontier AI models would be able to produce "reasonably high patch success rates" -- perhaps around 67% success -- when they were tasked to develop patches for software, given the open hand of open source code and public disclosures likely included in training these models.
However, researchers were probably left disappointed with the results, as they were "significantly lower and more uneven than we hypothesized."
Also: Assume AI cybersecurity attacks are the future: 43% of companies have already experienced it
The security team selected six recently disclosed vulnerabilities in open source software, which were unlikely to have been added to training set data, to test the capabilities of AI models.
The team emphasized that the research paper, titled "Frontier Models' Vulnerability Patches are Often F.L.A.W.E.D. Fix-Like Artifacts With Embedded Defects: Common failure modes of LLM-generated security patches," was not designed to be a side-by-side LLM comparison.
Rather, it is an overview of modern LLM capabilities. Still, Claude and an LLM based on OpenAI's coding agent, Codex, participated in the study.
The vulnerabilities at the heart of the research are:
- CVE-2026-31431: Linux privilege escalation (Copy Fail)
- CVE-2026-34197: ActiveMQ Remote Code Execution
- CVE-2026-8512: Use-after-free in Chrome's File System Access API on macOS
- CVE-2026-45185: EXIM unauthenticated Remote Code Execution
- CVE-2026-22738: SpringAI SpEL Remote Code Execution
- GHSA-wpqr-6v78-jr5g: Gemini CLI Remote Code Execution
The models were asked to generate patches for each vulnerability. In total, the LLMs generated 6,080 patch attempts -- around 3,040 each, divided up between each CVE -- with sets created under different environmental conditions and with nine crafted prompts per bug.
Off-By-1-Labs' AI patch results
- AI generated suitable patches only 26% of the time.
- Patches that fix the bug but also "altered the application's behavior in the process" occurred in 21% of results.
- An LLM failed to create a patch, added a new bug, or even both, 53.9% of the time.
Why did the AI models fail?
The main issue appears to be that regardless of the environmental conditions or prompts, when asked to produce patches, LLMs generated "Fix-Like Artifacts with Embedded Defects," which inspired the name behind the "FLAWED" research project.
"FLAWED" patches, developed by AI, superficially appear to do the job -- but underneath, they don't fully resolve the vulnerability, include 'fragile' security mechanisms, and may even introduce new bugs altogether. In severe cases, these patches could even change an application's typical behavior.
1Password has released its tooling, FLAWED, on GitHub for researchers to conduct their own studies.
"LLMs that excel at discovering a wide range of vulnerabilities today are only currently effective at patching a narrow subset of them," the researchers said. "Having said that, we have identified opportunities for further research that may yet yield more consistent and robust AI-generated patches."
If AI isn't ready to handle patching, what can it do?
Speaking to ZDNET, Keith Hoodlet, head of Off-by-1 Labs, said that human defenders and AI tooling should be focused on vulnerability and triage, which "can at least help defenders determine where the most impactful bugs exist in their codebase."
Human oversight over the patch process is still paramount, and as Hoodlet said, companies need to be able to make informed decisions about what needs to be patched and when, and the business risks associated with each choice.
"The tooling we are releasing today will help companies assess where today's AI-generated patches might produce better (or worse) outcomes," Hoodlet added. "This will at least help companies understand where human experts are most needed."
関連記事
今日のまとめ
AIデイリーブリーフで今日の重要ニュースをまとめ読み