長期的 AI 研究開発におけるエージェント評価の体系的枠組みを提示

記事の3ポイント

1. 1

   プロセス中心の評価フレームワークの提案

   最終スコアだけでなく、Solution Framing（問題設定）、Execution（実行）、Feedback Control（フィードバック制御）という3つの側面からエージェントの実行中の振る舞いをルールベース指標で評価する新手法を提示した。

2. 2

   自律型研究者としての限界の特定

   7 つの最先端モデルを対象とした分析により、現在のエージェントは完全な自律的研究者ではなくエンジニアリング最適化装置に近く、確立された技術の組み合わせや適応が主流で本質的な方法論的革新は稀であることを示した。

3. 3

   実行結果の多様性と経験の影響

   同じタスクでも実行ごとに性能が大きく変動し、蓄積された経験がその後の意思決定を助ける場合もあれば誤導く場合もあり、ハッチ（harness）設計が安定性に直結することが明らかになった。