DeepsecBench：モデルのサイバー脆弱性発見性能を評価
Vercel は、アプリケーションコード内のセキュリティ脆弱性を発見する能力を評価するためのベンチマーク「DeepsecBench」を発表し、複数のモデルの性能スコアとコスト効率を比較した結果を開示した。
AI深層分析を開く2026年7月28日 09:14
AI深層分析
キーポイント
新ベンチマーク DeepsecBench の公開
Vercel はアプリケーションコード内の脆弱性発見能力を評価する「DeepsecBench」をリリースし、リコール、精度、コスト、所要時間を測定した。
モデル性能の比較とランキング
GPT-5.6 Sol が最高スコアを獲得したが、Kimi K3 や Grok 4.5 など他のモデルも高い効率性を示し、コストパフォーマンスの多様性が確認された。
評価手法とセキュリティ対策
231 の人間が判定した脆弱性セットを用いてリコールを重視した F2 スコアを算出し、モデルが学習データに依存しないようベンチマークの構成情報を非公開とした。
コスト効率の向上と実装
以前は高価だった包括的なスキャンが可能になり、予算やコードベースの複雑さに応じて最適なモデルミックスを選定できる環境が整った。
コストパフォーマンスの多様性
上位モデルは高スコアだがコストも高く、Kimi K3 や Grok 4.5 は低コストで中程度の性能を発揮し、GPT-5.6 Sol のミディアム設定がバランスに優れる。
重要な引用
Hacks are initiated from the outside, so the single best defense is finding vulnerabilities from the inside before attackers do.
We don't disclose the repository, the commit, the files, or the findings, so there is nothing for models to train against.
The cost of capable analysis is falling.
Today, higher price does not buy proportionally more.
編集コメントを表示
編集コメント
Vercel が公開した DeepsecBench は、単なる性能比較を超え、セキュリティスキャンの現実的なコスト構造を可視化した点で意義が大きい。特にベンチマーク構成の非公開化により、モデルの暗記能力ではなく真の推論能力を評価している点は信頼性が高い。
Source Article
元記事を日本語で読む
本文に関係しない購読案内、埋め込み通知、サイト内プロモーションは除いています。
先週、OpenAI は隔離されたサンドボックス環境内で 2 つのモデルをエクスプロイトベンチマークで評価しました。テストのためにガードレールが緩和された結果、これらのモデルは自らの環境内の脆弱性を発見し、インターネットにアクセスして Hugging Face の本番データベースへ到達するに至りました。
この行動には人間の指示はありませんでしたが、強力な AI モデルを装備した悪意のある攻撃者がどれほど能力を発揮できるかを示す明確な事例です。一方で、防御側も同じツールを利用可能であり、自社のコードベースに対する知識という明確な優位性を持っています。ハッキングは外部から開始されるため、最も効果的な防御策は、攻撃者よりも先に内部から脆弱性を発見することです。
本日、私たちは DeepsecBench を公開します。これは、異なるモデルがアプリケーションコード内のセキュリティ脆弱性をどれだけよく発見できるかを評価するベンチマークです。各モデルのレポートには、再現率（recall）、適合率（precision）、コスト、総所要時間が含まれ、これらを組み合わせて単一のベンチマークスコアとして算出しています。以下にリーダーボードからのモデル性能の一部を示します。
Rank
Model
Level
Score
Cost
Total time
1
GPT-5.6 Sol
xhigh
35.58
$55.98
03:39:00
3
Claude Opus 5
medium
28.36
$31.96
00:47:01
8
Kimi K3
high
17.56
$12.38
01:59:00
10
Grok 4.5
high
15.58
$5.60
01:24:00
スキャンをできるだけ容易にするために Deepsec を構築しました。これで、ベンチマークレポートを活用し、予算やコードベースの複雑さに合わせたセキュリティスキャンプログラムを構築できます。どのモデルを組み合わせ、どれくらいの頻度で実行するかを最適に選択することが可能です。
ベンチマークの仕組み
DeepsecBench は、大量の脆弱性が修正される直前のコミット状態にあるオープンソースコードベース上で実行されます。50 のエントリーポイントファイルを選択し、人間が判定した 231 の発見事例から「正解セット」を構築しました。各モデルの評価点は、再帰率（R）の重みを精密率（P）の 2 倍とした F2 スコア（Score = 100 × 5PR/(4P+R)）で算出されます。これは、見逃された脆弱性は修正されないリスクがある一方、誤検知はコードベースのセキュリティを低下させるわけではないためです。
正解セットに含まれない発見事例については、判定用モデルが「真」か「偽」かを分類し、精密率の評価に反映させます（再帰率は 231 の既知の事例のみを対象とします）。
ベンチマークは 3 回実行され、報告書に掲載されるデータはその中央値です。
ベンチマークの構築方法は非公開です。リポジトリ、コミット、ファイル、発見事例の詳細は一切開示しないため、モデルが学習して対策を講じる余地はありません。単に記憶した修正パターンを再生するだけのモデルはほぼ完璧な再帰率を獲得しますが、実際には最高で 30.7% の検出率にとどまり、25 回の試行のうち 20 回は 20% を下回っています。
高度な分析コストの低下
deepsec を導入した当初は、本番環境のコードベースを徹底的にスキャンするには最も高性能なモデルが必要で、実行コストも高額でした。OpenAI や Anthropic の最新モデルが依然として最高スコアを記録していますが、オープンウェイトモデルや効率的な推論オプションが登場し、その差は縮まっています。これにより、包括的なスキャンの費用対効果は大幅に向上しています。
今日では、価格が高いからといって性能が比例して向上するわけではありません。Moonshot AI の「Kimi K3」は、高設定でスコア 17.56 を記録し、8 位にランクインしました。価格は 12.38 ドルで、トップスコアの約 5 分の 1 で、その半分程度の性能です。
一方、「Grok 4.5」を高設定で使用すると、コストは 5.60 ドルと半額以下ながら「Kimi K3」に匹敵するスコア 15.58 を達成します。また、「GPT-5.6 Sol」を中設定で利用すれば、高性能モデルの中で最もコストパフォーマンスに優れ、スコア 25.10 で 5 位を獲得しています。価格は 17.95 ドルです。
これらのチャートは「DeepsecBench」ページから対話形式で閲覧したり、ダウンロードしたりできます。
Anthropic の最上位モデルである「Fable 5」は、セキュリティ関連の作業（防御タスクを含む）を拒否しているため、今回のベンチマークには含まれていません。今後、セキュリティ対応版が利用可能になり次第、ベンチマークに追加する予定です。
| ランク | モデル | レベル | スコア | リコール | プレシジョン | 検出数/全件数 | コスト | 所要時間 |
|---|---|---|---|---|---|---|---|---|
| 1 | GPT-5.6 Sol | xhigh | 35.58 | 30.7% | 96.3% | 71/231 | $55.98 | 03:39:00 |
| 2 | Claude Opus 5 | max | 32.57 | 28.1% | 88.0% | 65/231 | $127.93 | 02:34:00 |
| 3 | Claude Opus 5 | medium | 28.36 | 24.7% | 70.5% | 57/231 | $31.96 | 00:47:01 |
| 4 | GPT-5.6 Luna | xhigh | 26.79 | 22.9% | 81.2% | 53/231 | $24.59 | 03:01:00 |
| 5 | GPT-5.6 Sol | medium | 25.10 | 21.2% | 94.3% | 49/231 | $17.95 | 00:30:52 |
| 6 | GPT-5.5 | xhigh | 21.20 | 17.7% | 95.5% | 41/231 | $43.42 | 02:22:00 |
| 7 | GPT-5.6 Terra | xhigh | 19.21 | 16.0% | 95.3% | 37/231 | $27.81 | 01:45:00 |
| 8 | Kimi K3 | high | 17.56 | 14.7% | 77.1% | 34/231 | $12.38 | 01:59:00 |
| 9 | Grok 4.5 | medium | 16.54 | 13.9% | 73.3% | 32/231 | $11.04 | 01:37:00 |
| 10 | Grok 4.5 | high | 15.58 | 13.0% | 77.8% | 30/231 | $5.60 | - |
ベンチマークで報告されたコストは、50 ファイルを対象としたものです。実際の生産環境のコードベースでは、その 100 倍規模になることも珍しくありません。この規模を前提とすると、Kimi K3 で全ファイルをスキャンする際の費用は約 1,200 ドル、OpenAI の最高スコアモデルを用いた場合は 5,000 ドルを超える試算となります。
複数のモデルにまたがるスキャンプログラムの構築
セキュリティスキャンは継続的な作業であるため、どのモデルをどのタスクに使い、いつ実行するかという判断が重要になります。例えば、最先端のモデルは定期的な詳細監査に適しており、Kimi K3 や Grok 4.5 のような低コストなモデルは、より高い頻度でスキャンを実行できます。
GPT-5.6 Sol の推論レベルを「xhigh」から「medium」に下げるだけで、処理時間は 3 時間 39 分（スコア 35.58）から約 30 分（スコア 25.10）に短縮され、本番環境への展開前の新機能レビューにも十分間に合います。
スタートアップであれば、すべてのマージ時に Grok 4.5 でスキャンを実行し、コストのかかる詳細監査はマイルストーンリリース時に行うといった運用が可能です。大企業では、重要サービスに対して最先端モデルによる監査を行い、主要なプルリクエストには同じモデルでも推論レベルを下げたものを使用し、残りのコードベース全体には Kimi クラスや Grok による継続的なスキャンを実行するといったハイブリッドなアプローチも有効です。
ベンチマークの単一エンドポイントでの実行
セキュリティスキャンはスパイク状の負荷であり、短時間のうちに大量のトークンを消費します。このバースト容量を、単一のプロバイダから直接確保するのは容易ではありません。DeepsecBench のすべての実行は AI Gateway を経由して行われます。これにより、各モデルへ到達するための単一エンドポイントが提供されます。実行中はルーティング、リトライ、フェイルオーバーが自動で行われ、個別のプロバイダごとのキー管理やレート制限を気にする必要はありません。
ベンチマークで採用している同じルーティングロジックは、あなたのセキュリティスキャンプログラムでもそのまま利用可能です。プロバイダとモデルを deepsec に指定し、環境変数に AI_GATEWAY_API_KEY を設定するだけで、対象となるすべてのモデル（またはリンクされた Vercel プロジェクト内のモデル）を利用できます。OIDC 経由で AI Gateway にアクセスすることも可能です。
まずは脆弱性を見つけましょう
攻撃者は AI モデルを利用できますが、彼らは外部からしかアクセスできません。一方、防御側はソースコード、アーキテクチャ、履歴など、システム全体を把握しています。この可視性こそが、同じモデルでも防御側の手に渡れば攻撃者よりも強力になる理由です。ソースコードを読み込めるモデルは、攻撃者が探知するしかない箇所も特定できるからです。
この優位性は確かに存在しますが、実際に活用されなければ意味がありません。
DeepsecBench は、新たにリリースされ評価されたモデルが現れるたびに更新を続けます。
原文を表示
Last week, OpenAI evaluated two models on an exploit benchmark within an isolated sandbox. Guardrails were reduced for testing, and the models found a vulnerability in their environment, accessed the internet, and reached Hugging Face's production database.
No human directed the action, but the breach is a clear example of how much more capable malicious attackers are when equipped with powerful AI models. But defenders have the same tools, and a clear advantage: knowledge of their own codebase. Hacks are initiated from the outside, so the single best defense is finding vulnerabilities from the inside before attackers do.
Today we're releasing DeepsecBench, a benchmark that evaluates how well different models find cybersecurity vulnerabilities in application code. For each model the report includes recall, precision, cost, and total time, and combines recall and precision into a single benchmark score. Here is a sample of model performance from the leaderboard:
Rank
Model
Level
Score
Cost
Total time
1
GPT-5.6 Sol
xhigh
35.58
$55.98
03:39:00
3
Claude Opus 5
medium
28.36
$31.96
00:47:01
8
Kimi K3
high
17.56
$12.38
01:59:00
10
Grok 4.5
high
15.58
$5.60
01:24:00
We built deepsec to make scanning as easy as possible. Now you can use the benchmark report to build a security scanning program that fits your budget and the complexity of your codebase, choosing the right mix of models to run and how often to run them.
How the benchmark works
DeepsecBench runs on an open-source codebase at a commit state just before a large number of vulnerabilities were fixed. We selected 50 entry-point files and built a golden set of 231 human-judged findings. Each model's score is a recall-weighted F2 (Score = 100 × 5PR/(4P+R)), weighting recall (R) twice as much as precision (P), because missed vulnerabilities will go unfixed, while false positives don't make your codebase less secure.
Findings beyond the golden set are classified by a judge model as real or false, and count for or against the model in the precision measure (recall measures only the 231 known findings).
The benchmark is run three times and the data published in the report is the median of the three runs.
The construction of the benchmark stays secret. We don't disclose the repository, the commit, the files, or the findings, so there is nothing for models to train against. A model reciting memorized fixes would score near-total recall. Instead, the best run finds 30.7%, and 20 of the 25 runs come in under 20%.
The cost of capable analysis is falling
When we introduced deepsec, thorough scanning on production codebases required using the most capable models, and they were expensive to run. Frontier models from OpenAI and Anthropic still score highest, but open-weight models and more efficient reasoning options are closing that gap, making comprehensive scanning far more cost-efficient.
Today, higher price does not buy proportionally more. Kimi K3, from Moonshot AI, ranks eighth at a score of 17.56 for $12.38 on the high setting, half the top score for about a fifth of the cost. Grok 4.5 set to high delivers near-Kimi performance for less than half the cost, scoring 15.58 for only $5.60. GPT-5.6 Sol set to medium offers the best score-to-cost balance of the top-performing models, taking fifth place with a score of 25.10 at a cost of $17.95.
You can interact with and download these charts on the DeepsecBench page.
Anthropic's most capable model, Fable 5, is absent because it declines security work, including defensive tasks. We will add security-enabled versions to the benchmark when they are made available.
Rank
Model
Level
Score
Recall
Precision
Issues
Cost
Total time
1
GPT-5.6
Sol
xhigh
35.58
30.7%
96.3%
71/231
$55.98
03:39:00
2
Claude Opus 5
max
32.57
28.1%
88.0%
65/231
$127.93
02:34:00
3
Claude Opus 5
medium
28.36
24.7%
70.5%
57/231
$31.96
00:47:01
4
GPT-5.6 Luna
xhigh
26.79
22.9%
81.2%
53/231
$24.59
03:01:00
5
GPT-5.6 Sol
medium
25.10
21.2%
94.3%
49/231
$17.95
00:30:52
6
GPT-5.5
xhigh
21.20
17.7%
95.5%
41/231
$43.42
02:22:00
7
GPT-5.6 Terra
xhigh
19.21
16.0%
95.3%
37/231
$27.81
01:45:00
8
Kimi K3
high
17.56
14.7%
77.1%
34/231
$12.38
01:59:00
9
Grok 4.5
medium
16.54
13.9%
73.3%
32/231
$11.04
01:37:00
10
Grok 4.5
high
15.58
13.0%
77.8%
30/231
$5.60
01:24:00
11
GPT-5.5
medium
12.63
10.4%
92.3%
24/231
$14.94
00:24:05
12
GPT-5.6 Terra
medium
12.12
10.0%
92.0%
23/231
$5.15
00:13:15
13
GPT-5.6 Luna
medium
12.08
10.0%
82.8%
23/231
$5.23
00:11:59
14
Gemini 3.6 Flash
medium
11.56
9.5%
80.0%
22/231
$10.74
00:26:21
15
Kimi K3
medium
11.48
9.5%
64.1%
22/231
$10.84
01:29:00
16
GLM-5.2
medium
10.46
8.7%
62.5%
20/231
$11.09
01:03:00
17
GLM-5.2
high
9.90
8.2%
53.8%
19/231
$51.84
02:30:00
18
Gemini 3.6 Flash
high
8.99
7.4%
77.3%
17/231
$5.33
00:22:18
19
Claude Opus 4.8
max
6.91
5.6%
81.3%
13/231
$7.56
00:19:29
20
Claude Opus 4.8
medium
6.88
5.6%
61.9%
13/231
$10.81
00:18:16
21
Inkling
high
6.32
5.2%
48.0%
12/231
$1.93
00:11:34
22
Inkling
medium
5.26
4.3%
37.0%
10/231
$2.18
00:10:31
23
Claude Haiku 4.5
default
4.73
3.9%
33.3%
9/231
$5.91
00:29:40
24
Gemini 3.5 Flash Lite
medium
2.14
1.7%
44.4%
4/231
$0.58
00:01:46
25
Gemini 3.5 Flash Lite
high
1.07
0.9%
28.6%
2/231
$0.18
00:01:07
The costs reported in the benchmark cover 50 files. A production codebase can run on the order of 100 times that, pricing a full pass at roughly $1,200 for a Kimi K3 sweep, or over $5,000 for the top-scoring frontier model from OpenAI.
Building a scanning program across multiple models
Because security scanning is recurring work, the question is which model to use for which task, and when. For example, frontier models can be used for periodic deep audits, while cheaper models like Kimi K3 or Grok 4.5 run scans at a higher cadence. Turning GPT-5.6 Sol's reasoning down from xhigh to medium moves it from 35.58 in 3 hours, 39 minutes to 25.10 in just over 30 minutes, fast enough for reviewing new features before they are pushed to production.
A startup might scan every merge with Grok 4.5 and save more expensive audits for milestone releases. A large enterprise might run frontier audits on its critical services, the same model at lower reasoning on key pull requests, and a continuous Kimi-class or Grok sweep across the rest of the codebase.
Running the benchmark on one endpoint
Security scans are spiky workloads that consume a large number of tokens in a short time window, and that burst capacity is hard to buy from any single provider directly. Every DeepsecBench run goes through AI Gateway. The gateway gives us a single endpoint to reach each model. During runs, routing, retries, and failover happen automatically, without any per-provider keys or rate limits to manage.
The same routing we use for the benchmark can run your security scanning program. Pass provider/model to deepsec, and one AI_GATEWAY_API_KEY in your environment covers every model on the board (or on a linked Vercel project, access AI Gateway via OIDC).
Find your vulnerabilities first
Attackers can use AI models, but they act from the outside. Defenders can see their entire system: the source, the architecture, the history. That visibility makes the same models more powerful in your hands than in theirs, because a model that can read the source finds what an attacker can only probe for. The advantage is real, but it only counts if you use it first.
We will continue to update DeepsecBench with new models as they are released and measured.
Read more
関連記事
今日のまとめ
AIデイリーブリーフで今日の重要ニュースをまとめ読み