JetBrains、AI コーディングエージェント評価のための「Kotlin Benchmark」を公式公開

記事の3ポイント

1. 1

   公式ベンチマークの公開

   JetBrains は AI エージェントが Kotlin プロジェクトで実務タスクを完了する能力を評価するための公式ベンチマーク「Kotlin Benchmark」を発表した。

2. 2

   SWE-bench 手法の採用と課題内容

   本ベンチマークは SWE-bench の手法に基づき、オープンソースリポジトリから収集した 105 の実課題を、コンテナ環境で厳密に検証する形式を採用している。

3. 3

   初期評価結果の発表

   最初の評価ラウンドでは Claude Code (Opus 4.7 xhigh) が 90 タスクを解決し、85.71% の解決率で首位となった。