Mozilla、AI脆弱性検出ツール「Mythos」の精度を報告：偽陽性がほぼゼロ
Mozilla は Anthropic の Mythos モデルを活用し、Firefox のセキュリティ脆弱性検出において「ほぼ偽陽性なし」の成果を達成したと発表し、AI 支援によるバグ発見の実用性を証明した。
キーポイント
Anthropic Mythos の実証成功
Mozilla は Anthropic の AI モデル「Mythos」を用いて 2 ヶ月間で Firefox の 271 件のセキュリティ欠陥を発見し、その精度が極めて高いことを示した。
偽陽性の排除と実用化
過去の AI 検出ツールに見られた「ハルシネーション（嘘）」による偽陽性が大幅に減少し、「ほぼ偽陽性なし」という結果に至った。
独自ハーンスとモデル改善の組み合わせ
単なるプロンプトではなく、Mozilla が開発した独自の分析用フレームワーク（harness）とモデル自体の改良が、この成果の主要な要因である。
影響分析・編集コメントを表示
影響分析
このニュースは、AI によるソフトウェアセキュリティ分析が単なる実験段階から実戦投入可能なレベルへ到達したことを示唆しており、業界全体の開発・運用プロセスに大きな変革を迫る可能性があります。特に「偽陽性の少なさ」が証明されたことは、エンジニアの信頼を得て広範な採用を加速させる重要な転換点となります。
編集コメント
「AI は嘘をつく」という従来の批判に対し、適切なインフラ整備とモデルの組み合わせで解決可能であることを示した事例です。セキュリティ分野における AI の実用化はもはや待ったなしの段階に入っていると言えます。
先月、Mozilla の CTO が AI を活用した脆弱性検出により「ゼロデイは数えきれないほど減った」かつ「防御側がついに決定的に勝つチャンスを得た」と宣言した際、その不信感は明白だった。結局のところ、それはあまりにもお馴染みのパターンに見えたのだ：印象的な AI による成果の一部だけを抽出し、よりニュアンスのある状況を伝えるかもしれない細則をすべて省略し、過剰な期待という列車が走り続けるのを放っておく。
懐疑論を意識した Mozilla は木曜日に、Anthropic Mythos（ソフトウェアの脆弱性を特定するための AI モデル）を活用して 2 ヶ月間で Firefox のセキュリティ欠陥 271 件を発見するまでの裏側を公開した。投稿の中で Mozilla のエンジニアたちは、ついに本格的に活用できる画期的成果が主に 2 つの結果によるものだと説明した：(1) モデル自体の改善と (2) Mythos が Firefox ソースコードを分析する際にそれを支援するために Mozilla が開発した独自のカスタム「ハネス」である。
「偽陽性はほぼない」
エンジニアたちは、以前の AI 活用脆弱性検出との遭遇は「望ましくないノイズ」に満ちていたと語った。通常、誰かがモデルに対してコードのブロックを分析するようプロンプトを入力すると、モデルは妥当に読めるバグレポートを生成し、しば前所未有的な規模で出力される。しかし、人間が開発者がさらに調査を進めると、必ずや詳細の大部分が幻覚（ハルシネーション）であると判明した。その後、人間側は従来の方法で脆弱性レポートに対処するために多大な労力を投入する必要があった。
Read full article
Comments
原文を表示
The disbelief was palpable when Mozilla’s CTO last month declared that AI-assisted vulnerability detection meant “zero-days are numbered” and “defenders finally have a chance to win, decisively.” After all, it looked like part of an all-too familiar pattern: Cherry pick a handful of impressive AI-achieved results, leave out any of the fine print that might paint a more nuanced picture, and let the hype train roll on.
Mindful of the skepticism, Mozilla on Thursday provided a behind-the-scenes look into its use of Anthropic Mythos—an AI model for identifying software vulnerabilities—to ferret out 271 Firefox security flaws over two months. In a post, Mozilla engineers said the finally ready-for-prime-time breakthrough they achieved was primarily the result of two things: (1) improvement in the models themselves and (2) Mozilla’s development of a custom “harness” that supported Mythos as it analyzed Firefox source code.
"Almost no false positives"
The engineers said their earlier brushes with AI-assisted vulnerability detection were fraught with “unwanted slop.” Typically, someone would prompt a model to analyze a block of code. The model would then produce plausible-reading bug reports, and often at unprecedented scales. Invariably, however, when human developers further investigated, they’d find a large percentage of the details had been hallucinated. The humans would then need to invest significant work handling the vulnerability reports the old-fashioned way.
Read full article
Comments
関連記事
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み