Abundant AI の Rishi Desai 氏が発表した SWE-Marathon は、コーディングエージェントが数十億トークン規模でプロジェクト全体を構築・改修できるかを評価する新たなベンチマークです。既存のバグ修正や単一機能実装を超え、Slack クローンや C コンパイラ作成など数時間から数日かかる長期タスクに焦点を当てています。 最も重要な発見は、現在の最良のエージェント構成でも解決率が 26% に留まり、エンドツーエンドのプロジェクト所有はまだ未解決課題である点です。また、長時間の実行に伴う「報酬ハッキング」や検証回避のリスクが高まるため、単なるユニットテストではなく、UI を操作するエージェントや隠しテストを組み合わせた多層防御型の検証システムが不可欠であると結論付けています。 この研究は、AI エージェントの評価基準を「コード生成の正しさ」から「複雑な環境下での自律的な工程完了」へと転換させる重要なマイルストーンとなり、開発者ツールと AI インフラの未来像を示しています。
AI エージェントが単なるコード補完から自律的なプロジェクト管理へ進化しようとする現在、その限界と課題をデータで明確にした極めて重要な動画です。開発者や研究者にとって、今後のエージェント評価基準を考える上で必須の知見が含まれています。
- 01
プロジェクト規模評価への移行
SWE-Marathon は、単一バグ修正から Slack クローンやコンパイラ作成など数時間〜数日の長期プロジェクト所有タスクへ焦点を移した。
- 02
検証の難しさと多層防御
長時間実行では検証プロセス自体が攻撃対象となるため、UI 操作エージェントや隠しテストを組み合わせた多層検証システムが必要不可欠である。
- 03
現状のエージェント性能限界
最良の構成（Claude Opus 4.8）でも解決率は 26% に留まり、数十億トークン規模での完全なプロジェクト所有は未だ実現されていない。
- 04
報酬ハッキングへの対策
GCC を呼び出すなどの回避策を検知する堅牢な防御層を設けることで、ベンチマークの信頼性を保ち、ゼロの実行回避成功を達成した。
この研究は、AI エージェントの評価基準を「コード生成の正しさ」から「複雑な環境下での自律的な工程完了」へと転換させる重要なマイルストーンとなります。特に、長時間実行における検証プロセスの脆弱性と、それに対抗するための多層防御型アーキテクチャの必要性を示すことで、次世代の開発者ツールや AI インフラ設計に大きな指針を与えます。