Fireworks AI、DeepSeek V4 Pro のセキュリティエージェント性能とコスト効率を報告

記事の3ポイント

1. 1

   CyberGym ベンチマークでの圧倒的パフォーマンス

   DeepSeek V4 Pro は 840 の敵対的セキュリティタスクで拒否ゼロを記録し、最高スコアモデルの半分のコストで成功を収めた。

2. 2

   実世界に近い厳格な評価環境

   CyberGym は UC Berkeley が開発したベンチであり、実際のコードベースから脆弱性を特定し、トリガー入力を作成して修正するまでを 89 ターンで実行させる。

3. 3

   クローズドモデルとの明確な対比

   Claude Opus 4.8 や GPT-5.6 などのクローズドモデルは、セキュリティタスクの進行中にチェックによってブロックされたり、完了できなかったりした。