ソースコードベースでの Sourcegraph 評価方法と指標の明確化

評価指標の多面性

検索精度（F1 スコア）の向上は必ずしもタスク完了率やコスト削減に繋がらず、これらを混同して判断すると誤った導入決定を招く。

コードベース構造の影響

エージェントのパフォーマンスはリポジトリの規模よりも、必要な情報がどこに分散しているかというタスクとコードベースの特性に依存する。

構造化検索の実証データ

288 のタスク評価において、構造化検索はファイルレベルの F1 スコアを 0.091 から 0.240 に引き上げたが、タスク完了報酬は変化しなかった。

コスト変動の要因

構造化検索は広範囲を検索するケースでコストを削減したが、必要な情報を少数の検索で特定できるケースでは逆にコストが増加した。

評価セットの構築におけるタスク選定

grepだけで解決可能なタスクや、特定のパス・シンボルを明示するタスクは除外すべきである。検索が不要な作業と、真に発見が必要な作業を分離して報告することが重要だ。