Anthropic、信頼できるエージェント評価の構築に関する知見を公開

記事の3ポイント

1. 1

   評価スコアの誤認事例

   Anthropic の技術スタッフが新しいモデルを検証した際、SQL クエリに LIMIT 句を追加する癖がハッチの欠陥を回避し、実質的な能力向上ではないのに9ポイントもスコアが上がったと誤認された。

2. 2

   エージェント評価の複雑性

   エージェントは時間軸にわたって行動し、外部状態や履歴に依存するため、単なる最終結果だけでなく意思決定の過程やツール呼び出しなど多層的な検証が必要である。

3. 3

   信頼性の条件

   良い評価結果は能力向上、テストの欠陥、あるいは偶然の幸運のいずれからも生まれうるため、どの説明が証拠に合致するかを特定する仕組みが不可欠だと指摘した。