LoopArena：ループ工学におけるモデルのランタイム制御をベンチマーク

記事の3ポイント

1. 1

   ループエンジニアリングの評価課題の提示

   既存の開発手法では、エンドツーエンドの結果からループの指導力とエージェントの実行力を区別できず、進捗の古さや誤った判断が失敗の原因となるリスクがある。

2. 2

   コントローラーとワーカーの分離評価モデル

   LoopArena は、実行されたタスクの要約を受け取り次の指示を出す「Controller」と、固定されたコーディングエージェントである「Worker」を分離し、前者の指導能力に焦点を当てて評価する。

3. 3

   3 つの異なる評価設定の実装

   実行コストを抑えた Type I（ステップ選択）、部分的な反復制御を行う Type II、および最初から完了まで行う Type III の 3 つの設定で、ループ制御能力を多角的に測定する。