ソースコードベースでの Sourcegraph 評価方法と指標の明確化

記事の3ポイント

1. 1

   評価指標の多面性

   検索精度（F1 スコア）の向上は必ずしもタスク完了率やコスト削減に繋がらず、これらを混同して判断すると誤った導入決定を招く。

2. 2

   コードベース構造の影響

   エージェントのパフォーマンスはリポジトリの規模よりも、必要な情報がどこに分散しているかというタスクとコードベースの特性に依存する。

3. 3

   構造化検索の実証データ

   288 のタスク評価において、構造化検索はファイルレベルの F1 スコアを 0.091 から 0.240 に引き上げたが、タスク完了報酬は変化しなかった。