LLM エージェント評価コスト削減へ、早期結果予測手法「EarlyEval」を提案

LLM エージェントの評価は開発を導く上で不可欠ですが、そのコストが極めて高騰しています。最先端モデルをエージェントベンチマークに一度実行するだけで数百ドルから数千ドルの費用がかかり、これが反復的な開発サイクルで繰り返されるためです。

先行研究ではベンチマークの圧縮（distillation）に焦点が当てられ、評価タスクの数を減らすことでコスト削減を図ってきました。しかし、残された各タスクの実行コスト自体には手が加えられていませんでした。本研究では、タスク内の実行コストを削減する新たな効率化軸として「早期結果予測」を導入します。

私たちの重要な洞察は、エージェントの最終的な成果は、実行が完了するずっと前にその中間行動からすでに明らかになっていることが多いという点です。この考え方を具体化したのが「EarlyEval」という軽量フレームワークです。これは、行動特徴、テキスト特徴、および参照解の特徴を用いて、LightGBM による成功・失敗の二つの分類器を訓練し、いずれかの分類器が較正された信頼度閾値を超えた瞬間にエージェントの実行を停止する仕組みです。これにより、ステップごとのオーバーヘッドはほぼ無視できるレベルに抑えられます。

SWE-bench Verified、TerminalBench、Toolathlon の 3 つのベンチマークで評価した結果、EarlyEval はエージェントのステップ数を 13%〜26%、入力トークンを最大 44.1%、出力トークンを 29.4% 削減できることが示されました。予測精度は 89%〜97% を維持しつつ、各エージェントの解決率への影響は平均してわずか 1〜2 ポイントに留まります。