バグ発見に Mythos は不要：オープンソースモデルも同等の能力を持つ
RunSybil CEOのAri Herbert-Voss氏は、AnthropicのMythosモデルに劣らずオープンソースモデルもバグ発見において同等の効果を持つと主張し、自動化された脆弱性検出が雇用を脅かさずにセキュリティを向上させると述べている。
キーポイント
オープンソースモデルの性能主張
Anthropicの専門セキュリティモデル「Mythos」と比較し、オープンソースモデルでも同等以上のバグ発見能力を持つことを示唆している。
セキュリティ人材の役割転換
OpenAI初のセキュリティ責任者であるAri Herbert-Voss氏は、自動化されたバグ検出の増加が人間のセキュリティ専門職を奪うのではなく、セキュリティ全体の質を向上させると見なしている。
Black Hat Asiaでの発表
この見解はセキュリティカンファレンス「Black Hat Asia」において、RunSybil CEOとして語られたものであり、業界内の議論を喚起するものである。
影響分析・編集コメントを表示
影響分析
このニュースは、セキュリティ分野における「オープンソース対プロプライエタリ」の議論に新たな火を付け、開発者やセキュリティチームがツール選定を行う際の基準を変えうる。また、AIによる自動化が人間の専門職を代替するという一般的な懸念に対し、「セキュリティの質向上」という肯定的なフレームを提供することで、業界内の抵抗感を和らげる可能性がある。
編集コメント
専門セキュリティモデルとオープンソースモデルのパフォーマンス比較という実務的な示唆は有用だが、具体的なベンチマークデータや手法の詳細が欠けているため、現時点では注目に値する情報レベルにとどまる。
Black Hat Asiaで開催されたカンファレンスにおいて、AIを活用したセキュリティスタートアップRunSybilのCEOであり、OpenAI初のセキュリティ担当者でもあるアリ・ハーバート＝ボス氏は、AnthropicのMythosに頼らなくても、オープンソースモデルでもバグの発見は同等に効果的に行えると述べた。
同氏は、シンガポールで開催されたBlack Hat Asiaの会議で、Mythosが「浅い」バグ――明確に記述されており検証が容易な欠陥――のほか、より複雑な脆弱性の発見においても優れた性能を発揮していると語った。
講演の中で、彼はこの現象を「超線形スケーリング（supralinear scaling）」に起因すると説明した。研究者たちは従来、大規模言語モデル（Large Language Model, LLM）の能力向上が線形的になると仮定していたが、現在の証拠は、データ量・計算資源・学習時間が2倍になると、モデルの能力が4倍になる可能性を示唆している。
彼は、超線形スケーリングによってさらに高い乗数効果が得られる可能性を示唆したが、非開示契約（NDA）のため、詳細については語れないと述べた。
Anthropicは、Mythosのアクセスを厳しく制限しており、悪用の懸念からであると説明している。
しかしハーバート＝ボス氏は、攻撃者も防御者も、複数のオープンソースモデルを「スキャフォールディング（scaffolding）」という構造で連携させることで、同等の成果を得られると主張した。このアプローチは、異なるモデルが異なる欠陥を検出する傾向があるため、防御の深さ（defense in depth）を高める効果もある。これは、あるモデルの盲点を補うための有効なヘッジとなる。
コストも重要な要因である。Mythosは構築・運用に高額な費用がかかる上、公開される可能性も低く、多くの組織にとってオープンソースの代替案は単なる選択肢ではなく、必須となっている。
- 弱いセキュリティは、都市のすべての公共EV充電器を無効化される可能性を生む
EV充電器事業を展開するELECQがランサムウェア犯罪者に襲撃され、顧客の連絡先情報が盗まれた
ハイブリッドクラウドには二つの攻撃面があり、あなたはどちらにも十分な注意を払っていません
MythosはFirefoxの脆弱性271件を発見したが、いずれも人間が見つけることができたものだった
ハーバート＝ボスは、オープンソースモデルを適切に統合してMythosクラスのパフォーマンスを実現するため、またAIが生成するバグ報告の評価を行うためには、依然として人間の専門知識が必要だと感じている
彼はまた、ファズングと呼ばれるテスト手法が、ランダムまたはほぼランダムなデータをソフトウェアに注入してバグの発生を確認するものであるが、これにより警告が大量に発生し、人間にとって追加の作業負担となると指摘した
AIを用いたバグ探しもすでに同様の問題を引き起こしており、この状況は今後も続くと予想している
したがってハーバート＝ボスは、情報セキュリティ担当者たちが近い将来も忙しくなるだろうと考えており、AIを活用する経済的インセンティブ（GPUやデータセンターの運用コストを賄うサービスを利用する誰かがいる）が、情報セキュリティチームがAIを採用する強制力となり、結果として予防的・防御的な業務の質が向上すると見ている。®
原文を表示
Black Hat Asia Open source models can find bugs as effectively as Anthropic's Mythos, according to Ari Herbert-Voss, CEO of AI-powered security startup RunSybil and OpenAI's first security hire.
Speaking at the Black Hat Asia conference in Singapore today, Herbert-Voss said Mythos excels at finding both "shallow" bugs - well-described flaws that are and easy to validate - and more complex vulnerabilities.
In his talk, he attributed this to "supralinear scaling": where researchers assumed LLM capability would improve linearly, evidence now suggests a model trained on twice the data, compute, and time produces something four times more capable.
He hinted supralinear scaling might produce even better multipliers but could not say more due to a non-disclosure agreement.
Anthropic has kept access to Mythos tghtly restricted, citing fears of misuse.
However Herbert-Voss argues attackers and defenders alike can achieve comparable results with open source models by building "scaffolding" to run several of them in harness. That approach also improves defense in depth, as different models tend to catch different flaws — a useful hedge against any single model's blind spots.
Cost is another driver. Mythos is expensive to build and run, and may never be publicly available, making open source alternatives not just viable but necessary for many organizations.
- Weak security means attackers could disable all of a city's public EV chargers
- EV charger biz ELECQ zapped by ransomware crooks, customer contact data stolen
- Hybrid clouds have two attack surfaces and you’re not paying enough attention to either
- Mythos found 271 Firefox flaws – but none a human couldn’t spot
Herbert-Voss feels human expertise is still needed to orchestrate open source models so they together deliver Mythos-grade performance, and to assess the bug reports AI generates.
He then noted that fuzzing, the testing technique which injects random or near-random data into software to see if doing so produces bugs, also creates so many warnings that it can make extra work for humans.
AI bug-hunters already produce the same problem, and he expects it will persist.
Herbert-Voss therefore thinks infosec workers will have plenty on their plates for the foreseeable future, and the economic incentive to use AI – someone's got to use services that pay for all those GPUs and datacenters – will act as a forcing function that makes infosec teams adopt AI and as a result improve their proactive and defensive work. ®
関連記事
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み