LoopArena：ループ工学におけるモデルのランタイム制御をベンチマーク

コーディングエージェントを中心に開発業務を組織化する「ループエンジニアリング」という実践が注目されています。手動でプロンプトを作成するのではなく、進捗状況の監視や作業割り当て、チェックの実行、そしてエージェントに次に行うべきことの判断などを行うループを設計するのが特徴です。

しかし、能力の高いコーディングエージェントを用いたとしても、ループは古くなった進捗報告を信じてしまったり、必要な検証をスキップしたり、予算を間違った方向へ浪費したり、タスクが安全に提出できる前に停止してしまったりするリスクがあります。また、一連のランニング結果の最終成果物だけでは、その成功や失敗がループの指導によるものなのか、それともコーディングエージェントの実行能力によるものなのかを区別することができません。

そこで私たちは、1 つのモデルが別のコーディングエージェントを長期間にわたるタスクでどのように導けるかを評価するためのベンチマーク「LoopArena」を発表します。評価対象となるモデルはコントローラー（Controller）です。各コーディングラウンドの後、コントローラーは実行の構造化されたサマリーを受け取り、固定された別のコーディングエージェントであるワーカー（Worker）に対して、次に何をすべきか、何を検証すべきかを指示するか、あるいは停止を決定します。

LoopArena は、実行範囲とコストが異なる 3 つの補完的な設定でこの能力を評価します。Type I では、ワーカーを実行せずに実行検証済み質問を通じて次のステップのループ契約選択をスコアリングします。Type II では、完全なタスクの一部スライスに対して繰り返し制御を実行します。一方、Type III は元の状態からペアになった完全なタスク全体を評価します。

完全なタスクにおける最高観測値である厳格成功率は 24.69% に留まっており、長期にわたるループ制御の改善余地は依然として大きいと言えます。

コントローラー全体で、推定推論コストのペアごとの削減率は平均 64.4% に達し、主要な Core 基準においても Type II は同様の順序付けを示しました（Spearman の ρ=0.9747）。本ベンチマークデータと評価コードは https://github.com/AMAP-ML/LoopArena で公開しています。