DeepsecBench：モデルのサイバー脆弱性発見性能を評価

記事の3ポイント

1. 1

   新ベンチマーク DeepsecBench の公開

   Vercel はアプリケーションコード内の脆弱性発見能力を評価する「DeepsecBench」をリリースし、リコール、精度、コスト、所要時間を測定した。

2. 2

   モデル性能の比較とランキング

   GPT-5.6 Sol が最高スコアを獲得したが、Kimi K3 や Grok 4.5 など他のモデルも高い効率性を示し、コストパフォーマンスの多様性が確認された。

3. 3

   評価手法とセキュリティ対策

   231 の人間が判定した脆弱性セットを用いてリコールを重視した F2 スコアを算出し、モデルが学習データに依存しないようベンチマークの構成情報を非公開とした。