AI エージェント評価の未来：エージェントが審査役となる時代へ

記事の3ポイント

1. 1

   評価パラダイムの転換

   2024 年に提案された研究が 2025 年に ICML で採択され、2026 年には製品化されるなど、エージェント評価の手法が急速に実用段階へ移行している。

2. 2

   LLM-as-a-Judge の限界

   従来の LLM が出力のみを評価する方式は、エージェント特有のループや文脈の欠落など、実行軌道（trajectories）内の失敗を検出できない構造的な欠陥を抱えている。

3. 3

   Agent-as-a-Judge の仕組み

   この新手法では AI エージェントが他のエージェントの行動を調査し、ツール呼び出しや中間ステップなどの証拠を収集して基準に基づき判断を下す。