Google、AI コーディングエージェントの評価・反復・防御手法を解説

記事の3ポイント

1. 1

   既存ベンチマークの限界

   SWE-bench などのエンドツーエンドベンチマークは広範な性能スコアを提供するが、コストが高く実行が遅く、ロジックがどこで破綻したかの根本原因を特定する診断機能が不足している。

2. 2

   行動評価の導入

   開発者は最終的な文字列比較ではなく、特定のツール呼び出しやファイル変更など離散的な中間動作を検証する高速かつローカル型の単体テストである「行動評価」を採用すべきだと提案している。

3. 3

   マクロとマイクロの併用

   安価なマイクロチェックをマクロベンチマークと共に構築することで、エンジニアリングチームはシステムプロンプトやモデルのアップグレードを回帰テストなしで安全に反復できるようになる。