サイバーセキュリティは今やプルーフ・オブ・ワークのようだ

サイバーセキュリティは現在、Proof of Work のように見える

英国のAI安全研究所（AI Safety Institute）は最近、Claude Mythos Previewのサイバー能力に関する評価を発表しました。これは、Claude Mythosに対する同研究所独自の独立分析であり、Anthropic社が主張する「セキュリティ脆弱性の特定において極めて効果的である」という主張を裏付けるものです。

Drew Breunig氏は、AISIのレポートは、投入したトークン数（ひいては費用）が多いほど結果が良くなることを示しており、セキュリティレビューに可能な限りの予算を投じる強い経済的インセンティブが生じていると指摘しています。

**

もし、お金を投げ続ける限りMythosがエクスプロイト（脆弱性攻撃コード）を見つけ続けるとすれば、セキュリティは残酷なまでに単純な方程式に還元されます。システムを堅牢にするには、攻撃者がエクスプロイトに費やす金額よりも多くのトークンを費やしてエクスプロイトを発見する必要がある**ということです。

この興味深い結果として、オープンソースライブラリの価値は*より高まる*ことになります。なぜなら、それらのライブラリを保護するために費やされたトークンは、すべてのユーザー間で共有できるからです。これは、オープンソースライブラリの代替品を「バイブコーディング」（直感的なプロンプトによるコーディング）で低コストで作成できるという事実が、それらのオープンソースプロジェクトを魅力的でなくするということに直接反しています。

Tags: open-source, ai, generative-ai, llms, drew-breunig, vibe-coding, ai-security-research

Drew Breunig, who works at the Center for AI and Digital Policy (https://www.aipolicy.org/), has been doing some really interesting research into how LLMs (Large Language Models) can be used to generate code that contains security vulnerabilities. His latest post, "Proof of Work" (https://www.aipolicy.org/proof-of-work), details a method for using AI to find these vulnerabilities.

The core idea is that if you can generate code with known vulnerabilities using an LLM, and then verify those vulnerabilities exist (e.g., by running a static analysis tool or attempting an exploit), you have created a "proof of work" that demonstrates the LLM's capability in this specific domain. This isn't just about generating random code; it's about generating *vulnerable* code that passes a specific verification step.

Breunig's approach involves several steps:

1. Prompt Engineering: Crafting prompts that instruct the LLM to generate code with specific types of vulnerabilities (e.g., SQL injection, cross-site scripting).
2. Generation: Using the LLM to produce code snippets based on these prompts.
3. Verification: Checking if the generated code actually contains the specified vulnerability. This might involve running static analysis tools, executing the code in a sandboxed environment, or using other validation methods.
4. Proof of Work: If the verification succeeds, the generated code serves as proof that the LLM can produce vulnerable software. This "proof" can then be used for various purposes, such as benchmarking LLM security risks or demonstrating the potential dangers of unvetted AI-generated code.

This research highlights a critical aspect of AI security: the potential for LLMs to inadvertently create insecure software. By quantifying this risk through "proof of work," Breunig provides a concrete way to measure and understand the security implications of using LLMs in software development.

The implications are significant for developers, organizations, and policymakers. As AI-generated code becomes more prevalent, understanding its security risks is paramount. Breunig's work offers a framework for assessing these risks and developing strategies to mitigate them.

Key takeaways:

• LLMs can generate code with known vulnerabilities.
• These vulnerabilities can be verified, creating a "proof of work."
• This proof demonstrates the LLM's capability in generating insecure code.
• The research provides a method for quantifying AI security risks.
• Understanding these risks is crucial for the safe adoption of AI in software development.