JetBrains、AI コーディングエージェント評価のための「Kotlin Benchmark」を公式公開
本文の状態
日本語全文を表示中
詳細モードで約5分の本文を読めます。
同じ出来事の情報源
この情報源を基点に整理
JetBrains AI Blog
JetBrains は、AI エージェントが Kotlin の課題解決から検証通過までの一連のタスクをどの程度信頼性高く完了できるかを評価するための公式ベンチマーク「Kotlin Benchmark」を公開した。
AI深層分析を開く2026年8月4日 17:19
AI深層分析
キーポイント
公式ベンチマークの公開
JetBrains は AI エージェントが Kotlin プロジェクトで実務タスクを完了する能力を評価するための公式ベンチマーク「Kotlin Benchmark」を発表した。
SWE-bench 手法の採用と課題内容
本ベンチマークは SWE-bench の手法に基づき、オープンソースリポジトリから収集した 105 の実課題を、コンテナ環境で厳密に検証する形式を採用している。
初期評価結果の発表
最初の評価ラウンドでは Claude Code (Opus 4.7 xhigh) が 90 タスクを解決し、85.71% の解決率で首位となった。
継続的な更新体制の構築
JetBrains は GitHub に資産を公開し、公式リーダーボードを通じて最新のモデル評価結果を随時更新していく方針を示した。
ベンチマークの共有フレームと限界
このベンチマークはベンダーの主張に頼らず、Kotlin タスクにおけるセットアップを比較するための共通の基準を提供する。スコアは保証ではなくシグナルであり、実際の結果はアーキテクチャやツールなど環境に依存する。
重要な引用
We're taking the first step in addressing that gap by releasing the Kotlin Benchmark, JetBrains' official benchmark for evaluating AI coding agents on Kotlin software engineering tasks.
The dataset features 105 engineering tasks sourced from active open-source repositories.
In this run, the top result came from Claude Code with Opus 4.7 xhigh, which resolved 90 of 105 tasks, an 85.71% resolution rate.
The scores are intended as a signal, not a guarantee for every codebase.
編集コメントを表示
編集コメント
Kotlin エコシステムに特化した評価指標が整備されたことは、同言語の AI 活用を加速させる重要な一歩である。ただし、今回の結果は初期版に基づくものであり、今後のモデル更新による順位変動にも注意が必要だ。
Source Article
元記事を日本語で読む
本文に関係しない購読案内、埋め込み通知、サイト内プロモーションは除いています。
エージェント型コーディングベンチマークは、現実世界のソフトウェア開発にますます近づいています。Kotlin を使用するチームにとって最も重要な問いは、「AI エージェントが、課題の読み込みから検証をパスする解決策の生成まで、エンドツーエンドの Kotlin タスクをどれほど確実に完了できるか」という点です。
私たちはこのギャップを埋めるための第一歩として、JetBrains 公式ベンチマークである「Kotlin Benchmark」をリリースしました。これは、AI コーディングエージェントが Kotlin ソフトウェアエンジニアリングタスクでどの程度機能するかを評価するためのものです。私たちの目的は、開発者が日常の開発業務に近いタスクを用いて、異なるエージェントのパフォーマンスを信頼できる方法で公に評価し、エージェントの構成を比較できるようにすることです。
ベンチマークの公開に伴い、関連アセットも GitHub で公開するとともに、評価結果を追跡するための公式リーダーボードを立ち上げます。
GitHub でベンチマークを確認する
リーダーボードで最初の結果を見る
Kotlin Benchmark の仕組み
Kotlin Benchmark の初の公開版は、SWE-bench の手法に基づいており、リポジトリレベルの Kotlin ソフトウェアエンジニアリングタスクに焦点を当てています。
Kotlin にはすでに、言語の構文やコア概念への理解度を測定するための強力なモデル特化型評価アセットが用意されています。具体的には「Kotlin_HumanEval」や「Kotlin_QA」などです。一方、Kotlin Benchmark はこれらとは異なるレイヤー、つまり AI コーディングエージェントが既存の Kotlin プロジェクト内で検証済みのソフトウェアエンジニアリングタスクをどれほど完遂できるかを評価する点に注目しています。
このデータセットには、活発に活動しているオープンソースリポジトリから収集した 105 のエンジニアリング課題が含まれています。各課題では、AI エージェントが実際の課題説明を読み解き、プロジェクトの文脈を把握して機能的なパッチを生成する必要があります。解決策はコンテナ化された環境で厳密に検証され、生成された解決策が必要なテスト検証に合格した場合のみ、その課題は「完了」とみなされます。
環境設定やデータ収集の詳細については、「Methodology」ページをご覧ください。
最初の結果
初期評価では、主要なコーディングエージェントが Kotlin Benchmark の現在の課題の大部分を完了できることが示されました。これらの結果はベンチマークの最初の公開版に基づくものであり、最新のモデルリリースはまだ含まれていません。すでに第 2 版の開発を進めており、新しい評価データが追加されるたびにリーダーボードを更新していく予定です。
今回のランでは、Claude Code (Opus 4.7 xhigh) がトップの結果を残し、105 の課題のうち 90 を解決しました。解決率は 85.71% です。これに続き、JetBrains Junie (Opus 4.7 max: 81.9%) と Codex (GPT 5.5 xhigh: 81.9%) が続きました。
詳細なエージェントや設定の比較は、kotlinlang.org/benchmark のフルリーダーボードで確認できます。
imageここに示された結果は Kotlin Benchmark の最初の公開版に基づくものです。新しいモデルの評価データが追加されるたびに、リーダーボードは更新されます。
コーディングエージェントを評価するチームにとって、このベンチマークはベンダーの主張だけに頼らず、Kotlin 関連タスクにおける各セットアップを比較するための共通の基準を提供します。得られたスコアは、あらゆるコードベースで必ず成功することを保証するものではなく、あくまで一つの指標として捉えてください。実際の成果は、貴社のアーキテクチャ、内部 API、コーディング規約、ツールチェーン、検証プロセスに依存します。
今後の展望
私たちはオープンなアプローチを重視しているため、このベンチマークはオープンソースの Multi-SWE-bench インフラストラクチャを基盤として構築し、すべてのデータセットとテストハネスを公開しています。
ベンチマークは継続的な品質測定パイプラインとして位置づけています。今後は以下の領域でフレームワークを拡張する計画です。
- Kotlin エコシステムのより広範なカバー：実践での Kotlin の利用実態をより正確に反映させるため、Android や Kotlin Multiplatform などの分野を含め、タスクのミックスを改善します。また、難易度の幅広い範囲をカバーしていきます。
- より多様な評価指標：テストの通過は有用な正しさの指標ですが、エージェント評価の一部に過ぎません。今後の版では、コスト、パフォーマンス、保守性、コード品質にも目を向けます。
- 対象となるエージェントとモデルセットアップの拡大：より多くの商用エージェントや、エージェント・モデル構成、オープンウェイトモデルを評価する予定です。これにより、チームは幅広いセットアップを比較できるようになります。
このベンチマークはオープンなため、タスクを検証したり結果を比較したりできます。また、次に取り上げるべき Kotlin のシナリオについてのご提案も歓迎します。
原文を表示
Agentic coding benchmarks are getting closer to real-world software development. For Kotlin teams, the most important question is how reliably AI agents can complete end-to-end Kotlin tasks, from reading an issue to producing a solution that passes validation.
We’re taking the first step in addressing that gap by releasing the Kotlin Benchmark, JetBrains’ official benchmark for evaluating AI coding agents on Kotlin software engineering tasks. Our goal is to give developers a credible, public way to assess how different agents perform on Kotlin and compare agent setups using tasks that are closer to day-to-day dev work.
Alongside the benchmark release, we’re publishing the benchmark assets on GitHub and launching the official leaderboard to track the evaluation results.
Explore the benchmark on GitHub
See the first results on the leaderboard
How the Kotlin Benchmark works
The first public iteration of the Kotlin Benchmark is based on the SWE-bench methodology and focuses on repository-level Kotlin software engineering tasks.
Kotlin already has strong model-focused evaluation assets, including Kotlin_HumanEval and Kotlin_QA, which help measure a model’s understanding of the language’s syntax and core concepts. The Kotlin Benchmark looks at a different layer: how well an AI coding agent can complete validated software engineering tasks in existing Kotlin projects.
The dataset features 105 engineering tasks sourced from active open-source repositories. Each task requires the AI agent to interpret a real issue description, navigate the project’s context, and generate a functional patch. Solutions are strictly verified in containerized environments, and a task is only marked as resolved when the generated solution passes the required test verification.
You can read more about our environment setup and data collection on the Methodology page.
First results
The first evaluations show that leading coding agents can complete a large share of the current Kotlin Benchmark tasks. These results reflect the first public iteration of the benchmark and do not yet include the most recent model releases. We are already working on the second iteration and will update the leaderboard as newer evaluations are added.
In this run, the top result came from Claude Code with Opus 4.7 xhigh, which resolved 90 of 105 tasks, an 85.71% resolution rate. JetBrains Junie with Opus 4.7 max (81.9%) and Codex with GPT 5.5 xhigh (81.9%) followed closely.
The full leaderboard is available on kotlinlang.org/benchmark, where you can compare agents and configurations in detail.
imageResults shown here reflect the first public iteration of the Kotlin Benchmark. The leaderboard will be updated as newer model evaluations are added.
For teams evaluating coding agents, the benchmark provides a shared frame of reference for comparing setups on Kotlin tasks instead of relying only on vendor claims. The scores are intended as a signal, not a guarantee for every codebase. Real-world results depend on your architecture, internal APIs, coding standards, tooling, and validation process.
What’s next
We value an open approach, which is why we built this benchmark on the open-source Multi-SWE-bench infrastructure and made all datasets and test harnesses publicly available.
We treat benchmarks as a continuous quality measurement pipeline. Moving forward, we plan to expand the framework in these areas:
Broader Kotlin ecosystem coverage: We want the task mix to better reflect how Kotlin is used in practice, including areas such as Android and Kotlin Multiplatform, and cover a wider range of task difficulty levels.
More evaluation metrics: Passing tests is a useful correctness signal, but it is only one part of agent evaluation. Future iterations will look at cost, performance, maintainability, and code quality.
More agents and model setups: We plan to evaluate more commercial agents, agent-model configurations, and open-weight models, so teams can compare a wider range of setups.
The benchmark is open, so you can inspect the tasks, compare results, and tell us which Kotlin scenarios we should cover next.
News to Guide
ニュースの次に確認する
発表内容を、現在の料金や仕様と照らし合わせられる関連ガイドです。
今日のまとめ
AIデイリーブリーフで今日の重要ニュースをまとめ読み