Fireworks AI、DeepSeek V4 Pro のセキュリティエージェント性能とコスト効率を報告

TLDR; DeepSeek V4 Pro 0813 は、840 の敵対的なセキュリティタスクにおいて拒否をゼロ回に抑え、成功した事例あたりのコストはテストした最高スコアモデルの半分でした。同じテストに参加したクローズドモデル 2 つは、結果あたりのコストで最も低い評価となりました。

DeepSeek V4 Pro を CyberGym で Kimi K3、GPT-5.5、Claude Opus 4.8 と比較検証しました。実在するコードベース内の実際の脆弱性を対象に、タスクあたり平均 89 ターン（対話回数）で評価を行いました。

DeepSeek の評価において CyberGym が実際に測っていること

多くのコーディングベンチマークは、単一のテストケースをパスするコードを書く能力を問います。一方、CyberGym はより現実的なワークロードを反映しています。なぜなら、実在するものを壊し、その後で修復するというタスクだからです。

このベンチマークは UC バークレーで構築され、Google の OSS-Fuzz キャンペーンや ARVO 再現可能脆弱性アーカイブから抽出された、188 の広く使われているオープンソースプロジェクトに存在する 1,507 の実在の脆弱性を基盤としています。各タスクでは、エージェントに短い説明と実際の脆弱なコードベースが与えられます。エージェントは欠陥箇所を特定し、実際にそれをトリガーする入力を作成し、最後にパッチを適用する必要があります。採点は人間や判定モデルによるものではなく、実行結果によって行われます。概念実証（PoC）がターゲットをクラッシュさせるかどうかが全てです。

CyberGym の構造は「エージェント型」であり、「長期ホライズン（長期的な計画）」を要し、かつ容赦ないものです。私たちの検証ではタスクあたり平均 89 ターン、25 分を要しました。結果が「可能性のあるもの」であっても部分的な加点はありません。つまり、自信満々に回答するモデルによってスコアを操作できない評価指標の一つが CyberGym です。

また、これは顧客がすでに運用しているワークロードに最も近い公開プロキシでもあります。Trilogy は Fireworks 上で構築した サイバーセキュリティプレイブック でこう述べています。「防御側のワークロードは高ボリュームである」。すべてのリポジトリを監査し、すべてのスキャンを優先順位付けし、すべてのプルリクエストを確認し、すべての修正を再テストする必要があります。事故発生時にアクセス制限がかかったり、コストが高すぎたり、利用不可になったりする強力なモデルよりも、「ほぼ十分な性能を持ち、頻繁に実行できるコスト効率の良い」モデルの方が勝ります。

DeepSeek V4 Pro：拒否ゼロ、無駄なオーバーヘッドゼロ

多くのチームは、エージェントがすでに本番環境で稼働している段階になって初めて「拒否の壁」にぶつかります。PoC（概念実証）ではスムーズに進んでも、実際のトラフィックがかかる途中でタスクが停止してしまうケースです。

私たちのテストでは、追跡した主要タスク 840 件すべてにおいて、DeepSeek V4 Pro はネイティブなツール呼び出しを成功させました。拒否も出力長の切り捨ても発生しませんでした。

なぜこれが重要なのかを対比して説明すると、最先端のクローズドモデルは非常に異なる振る舞いを示します。最新の Claude Opus 5 や GPT 5.6 では、セキュリティタスクが完了しませんでした。CyberGym ユーティリティへのアクセスを検査する仕組みが機能し、実行をブロックしたためです。

より古い世代の Claude Opus 4.8 が実行された場合でも、対応するコホート内の 697 タスクのうち検証ステージ 1 に進めたのはわずか 70 タスク（10%）に留まり、最終的な報酬達成率は 5.9% でした。Opus がコーディング能力の低いモデルだということではありません。重要なのは、このタスクファミリーにおいて実行された多くのケースで、実用的な成果物が生成されなかったという事実です。

セキュリティエージェントを構築する際、この差は「何の成果も生み出さずに消費されたトークンのコスト」として現れます。サイバーセキュリティ用途においては、クローズドモデルが実際の作業への参加を妨げる可能性があるため、オープンモデルが最も実用的な解決策となります。

CyberGym テストでは、DeepSeek V4 Pro が 697 タスク中 678 タスクで検証に進み、成功率は 97.3% に達しました。これは以下のチャートでも確認できます。

CyberGym：DeepSeek V4 Pro はコストを 50% 削減してセキュリティタスクを解決

厳格な 4 モデル共通の検証済みコホート（697 タスク）における CyberGym の結果は以下の通りです。

各モデルが今回のテストで何を発見したのでしょうか。697 件のタスクのうち、DeepSeek V4 Pro だけが解決できたのは 38 件でした。一方、K3 は独自に 97 件を解決し、GPT-5.5 は 41 件、Opus 4.8 はわずか 1 件でした。Opus はスコアが低いだけでなく、他のモデルが見逃した課題を見つけるケースもほとんどありませんでした。なお、どのモデルも解決できなかったタスクは 101 件あり、これが 4 つのモデル全体における到達可能な上限と言えます。

K3 の圧倒的な差に注目してしまい、他の結果を見落としがちです。オープンソースモデルはコスト効率が良いだけだと考える人もいますが、今回の分析では DeepSeek V4 Pro が GPT-5.5 を両方の面で上回っていることが示されています。精度においては 6.03 ポイントの差があり（95% 信頼区間 [+1.29, +10.62]、McNemar p = 0.0152）、GPT-5.5 が失敗した 164 件を DeepSeek V4 Pro は解決し、逆に DeepSeek V4 Pro が失敗して GPT-5.5 が成功したのは 122 件でした。つまり、このオープンモデルはクローズドな最前線モデルよりも精度が高く、脆弱性を 1 つ解決するあたりのコストはわずか 4 分の 1 です。

K3 は解決率で 14.8 ポイント差をつけて勝利しており、これは偶然ではありません。ペアードブートストラップ法による 95% 信頼区間は [-19.23, -10.33]、McNemar p=9.43×10−11 です。つまり、この差がランダムなノイズである可能性はほぼゼロです。成功を最優先する場合は K3 が最適解であり、Fireworks で利用可能です：こちら

実務において、解決率と同じくらい重要なのがユニットエコノミクスです。

• コスト効率: 同一タスクにおいて、V4 Pro は解決あたり2.50 ドルで済むのに対し、K3 は4.91 ドルかかります。これは V4 Pro が1.96 倍のコスト優位性を持つことを意味します。863 タスクからなる診断テスト全体でも、この約 2 倍の比率は維持されます。つまり、同じ予算でセキュリティスキャンを 2 倍実行できるのです。
• 単体での精度: V4 Pro は 920 タスク中 462 を解決し（50.2%）、1 回あたりのコストは1.31 ドル、成功あたりでは2.60 ドルです。サブスコアを見ると、ARVO タスクで54.7%、OSS-Fuzz タスクで48.7%を達成しています。
• 弱点と改善の余地（ハーンネスの機会）: V4 Pro がステージ 1 の検証（有効な概念実証の生成）に成功すれば、その後の完全なパッチ作成は94.7% の確率で完了します。

DeepSeek V4 Pro は、コード修正という難易度の高い部分ではまず失敗しません。失敗するのは、初期の攻撃コード生成といった前工程です。これはモデル自体の不具合ではなく、チームがプロンプトと支援構造（スクフォールディング）を工夫することで解決可能な課題です。

データが示す通り、高ボリュームのセキュリティエージェントを構築する際、パフォーマンスとコストのトレードオフを迫られる必要も、クローズドな最先端モデルの「拒否壁」にブロックされるリスクを抱える必要もありません。DeepSeek V4 Pro は明確な優位性を持ち、カットオフなしでネイティブなツール呼び出しを安定して実行し、精度は大幅に向上します。さらに、脆弱性を解決するあたりのコストは、主要な独自モデルと比較して 1.96 倍の有利さがあります。

コードベースの監査や大規模な脆弱性のトリアージを目指すセキュリティチームにとって、DeepSeek V4 Pro のようなオープンで高性能なモデルへ移行することは、単なる予算上の判断ではなく、より信頼性が高く、効果的かつ持続可能なセキュリティ運用を可能にする技術的なアップグレードです。

これらの機能の導入は今日から始められます。Fireworks 上の DeepSeek V4 Pro 0813 をご確認ください。

コーディングワークロードにおける DeepSeek V4 Pro と Fable 5 の性能比較については、別の記事 こちら で詳しく解説しています。