RoadmapBench：バージョンアップを跨ぐ長期的エージェント型ソフトウェア開発の評価

著者：[Xinbo Xu](https://arxiv.org/search/cs?searchtype=author&query=Xu,+X), [Ruihan Yang](https://arxiv.org/search/cs?searchtype=author&query=Yang,+R), [Haiyang Shen](https://arxiv.org/search/cs?searchtype=author&query=Shen,+H), [Wendong Xu](https://arxiv.org/search/cs?searchtype=author&query=Xu,+W), [Bofei Gao](https://arxiv.org/search/cs?searchtype=author&query=Gao,+B), [Ruoyu Wu](https://arxiv.org/search/cs?searchtype=author&query=Wu,+R), [Kean Shi](https://arxiv.org/search/cs?searchtype=author&query=Shi,+K), [Weichu Xie](https://arxiv.org/search/cs?searchtype=author&query=Xie,+W), [Xuanzhong Chen](https://arxiv.org/search/cs?searchtype=author&query=Chen,+X), [Ming Wu](https://arxiv.org/search/cs?searchtype=author&query=Wu,+M), [Jason Zeng](https://arxiv.org/search/cs?searchtype=author&query=Zeng,+J), [Michael Heinrich](https://arxiv.org/search/cs?searchtype=author&query=Heinrich,+M), [Elvis Zhang](https://arxiv.org/search/cs?searchtype=author&query=Zhang,+E), [Liang Chen](https://arxiv.org/search/cs?searchtype=author&query=Chen,+L), [Kuan Li](https://arxiv.org/search/cs?searchtype=author&query=Li,+K), [Baobao Chang](https://arxiv.org/search/cs?searchtype=author&query=Chang,+B) [PDF を表示](https://arxiv.org/pdf/2605.15846) [HTML（実験版）](https://arxiv.org/html/2605.15846v2) ** 要約：コーディングエージェントは、単一のバージョン反復に多くのファイルにわたる数か月の調整された作業を必要とする実際のソフトウェア開発においてますます展開されています。しかし、既存のベンチマークのほとんどは、Python リポジトリからの単一問題のバグ修正に主に焦点を当てており、粗い合格/不合格の評価結果であり、したがって、実際のエンジニアリング規模における長期的で多目標の開発を捉えることができていません。このギャップに対処するため、私たちは RoadmapBench を提示します。これは、17 のリポジトリと 5 つのプログラミング言語にわたる実際のオープンソースバージョンアップグレードに基づいた、115 の長期的コーディングタスクからなるベンチマークです。各タスクでは、エージェントをソースバージョンのコードスナップショット上に配置し、ターゲットバージョンで導入された機能を実装することを要求する多目標ロードマップ指示を提供します。これは、51 ファイルにわたる 3,700 行の修正が中央値となります。私たちは 13 の最先端モデルに対して体系的な評価を行い、最も強力な Claude-Opus-4.7 でさえタスクの 39.1% しか解決できない一方、最も弱いモデルはわずか 5.2% しか達成できないことを発見しました。これは既存のバグ修正ベンチマークとは対照的であり、長期的なソフトウェア開発が依然として未解決の問題である大部分を占めていることを示唆しています。 コメント：30 ページ、15 図 対象分野： ソフトウェアエンジニアリング (cs.SE); 人工知能 (cs.AI) 引用形式： [arXiv:2605.15846](https://arxiv.org/abs/2605.15846) [cs.SE] (または、このバージョンについては [arXiv:2605.15846v2](https://arxiv.org/abs/2605.15846v2) [cs.SE] を参照してください) [https://doi.org/10.48550/arXiv.2605.15846](https://doi.org/10.48550/arXiv.2605.15846) arXiv 発行 DOI (DataCite 経由) ## 提出履歴 送信者: Xinbo Xu [[メールを表示](https://arxiv.org/show-email/80f8b522/2605.15846)] [v1]** 2026 年 5 月 15 日 (金) 11:00:33 UTC (4,936 KB)** [v2]** 2026 年 5 月 19 日 (火) 08:10:44 UTC (4,935 KB)

RoadmapBench：バージョンアップを跨ぐ長期的エージェント型ソフトウェア開発の評価

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト