RoadmapBench：バージョンアップを跨ぐ長期的エージェント型ソフトウェア開発の評価
本文の状態
日本語全文を表示中
詳細モードで約2分の本文を読めます。
同じ出来事の情報源
この情報源を基点に整理
TLDR AI
研究者らが、バージョンアップを跨ぐ長期的なエージェント型ソフトウェア開発の能力を評価するためのベンチマーク「RoadmapBench」を発表しました。
Source Article
元記事を日本語で読む
本文に関係しない購読案内、埋め込み通知、サイト内プロモーションは除いています。
著者：Xinbo Xu, Ruihan Yang, Haiyang Shen, Wendong Xu, Bofei Gao, Ruoyu Wu, Kean Shi, Weichu Xie, Xuanzhong Chen, Ming Wu, Jason Zeng, Michael Heinrich, Elvis Zhang, Liang Chen, Kuan Li, Baobao Chang
**
要約：コーディングエージェントは、単一のバージョン反復に多くのファイルにわたる数か月の調整された作業を必要とする実際のソフトウェア開発においてますます展開されています。しかし、既存のベンチマークのほとんどは、Python リポジトリからの単一問題のバグ修正に主に焦点を当てており、粗い合格/不合格の評価結果であり、したがって、実際のエンジニアリング規模における長期的で多目標の開発を捉えることができていません。このギャップに対処するため、私たちは RoadmapBench を提示します。これは、17 のリポジトリと 5 つのプログラミング言語にわたる実際のオープンソースバージョンアップグレードに基づいた、115 の長期的コーディングタスクからなるベンチマークです。各タスクでは、エージェントをソースバージョンのコードスナップショット上に配置し、ターゲットバージョンで導入された機能を実装することを要求する多目標ロードマップ指示を提供します。これは、51 ファイルにわたる 3,700 行の修正が中央値となります。私たちは 13 の最先端モデルに対して体系的な評価を行い、最も強力な Claude-Opus-4.7 でさえタスクの 39.1% しか解決できない一方、最も弱いモデルはわずか 5.2% しか達成できないことを発見しました。これは既存のバグ修正ベンチマークとは対照的であり、長期的なソフトウェア開発が依然として未解決の問題である大部分を占めていることを示唆しています。
コメント：30 ページ、15 図
対象分野：
ソフトウェアエンジニアリング (cs.SE); 人工知能 (cs.AI)
引用形式：
arXiv:2605.15846 [cs.SE]
(または、このバージョンについては arXiv:2605.15846v2 [cs.SE] を参照してください)
https://doi.org/10.48550/arXiv.2605.15846
arXiv 発行 DOI (DataCite 経由)
提出履歴
送信者: Xinbo Xu [メールを表示]
[v1]**
2026 年 5 月 15 日 (金) 11:00:33 UTC (4,936 KB)**
[v2]**
2026 年 5 月 19 日 (火) 08:10:44 UTC (4,935 KB)
原文を表示
Authors:Xinbo Xu, Ruihan Yang, Haiyang Shen, Wendong Xu, Bofei Gao, Ruoyu Wu, Kean Shi, Weichu Xie, Xuanzhong Chen, Ming Wu, Jason Zeng, Michael Heinrich, Elvis Zhang, Liang Chen, Kuan Li, Baobao Chang
Abstract:Coding agents are increasingly deployed in real software development, where a single version iteration requires months of coordinated work across many files. However, most existing benchmarks focus predominantly on single-issue bug fixes from Python repositories, with coarse pass/fail evaluation outcomes, and thus fail to capture long-horizon, multi-target development at real engineering scale. To address this gap, we present RoadmapBench, a benchmark of 115 long-horizon coding tasks grounded in real open-source version upgrades across 17 repositories and 5 programming languages. Each task places the agent on a source-version code snapshot and provides a multi-target roadmap instruction requiring it to implement the functionality introduced in the target version, with a median modification of 3,700 lines across 51 files. We conduct a systematic evaluation on thirteen frontier models and find that even the strongest, Claude-Opus-4.7, resolves only 39.1% of tasks, while the weakest achieves merely 5.2%, in stark contrast to existing bug-fix benchmarks, suggesting that long-horizon software development remains a largely unsolved problem.
| Comments: | 30 pages, 15 figures |
|---|---|
| Subjects: | Software Engineering (cs.SE); Artificial Intelligence (cs.AI) |
| Cite as: | arXiv:2605.15846 [cs.SE] |
| (or arXiv:2605.15846v2 [cs.SE] for this version) | |
| https://doi.org/10.48550/arXiv.2605.15846 arXiv-issued DOI via DataCite |
Submission history
From: Xinbo Xu [view email] [[v1]](https://arxiv.org/abs/2605.15846v1)
Fri, 15 May 2026 11:00:33 UTC (4,936 KB)**
[v2]**
Tue, 19 May 2026 08:10:44 UTC (4,935 KB)
関連記事
今日のまとめ
AIデイリーブリーフで今日の重要ニュースをまとめ読み