LangChain、コードレビューエージェント評価ベンチマーク「ReviewBench」を発表

記事の3ポイント

1. 1

   実データに基づくベンチマークの構築

   合成されたバグではなく、信頼できるレビュアーによる実際のマージ済み PR のフィードバックを基に課題を抽出し、ReviewBench を作成した。

2. 2

   文脈依存型の課題への対応

   データベースのテナント制約やプロダクション cron のロックパターンなど、コード変更箇所だけでなく周囲のコードから暗黙的なシステム契約を再構築する必要がある課題を含んでいる。

3. 3

   Harbor 形式による標準化

   抽出されたレビュー課題を Harbor という標準フォーマットに変換し、指示、環境、検証子の統一された評価ワークフローを実現した。