LLM エージェント評価コスト削減へ、早期結果予測手法「EarlyEval」を提案

記事の3ポイント

1. 1

   評価コスト削減の新アプローチ

   既存のベンチマーク圧縮手法とは異なり、各タスク内の実行コスト自体を削減する「早期結果予測」軸を導入した。

2. 2

   LightGBM による早期停止機構

   行動、テキスト、参照解の特徴を学習した LightGBM の二値分類器により、エージェント実行が完了する前に信頼性閾値に達した時点で処理を即時停止する。

3. 3

   ベンチマークでの実証結果

   SWE-bench Verified 等 3 つのベンチマークで、13〜26% のステップと最大 44.1% の入力トークンを削減し、解成功率への影響はわずか 1〜2 ポイントに抑えた。