AutoResearch エージェントの失敗要因を 100 の実世界タスクで診断評価

記事の3ポイント

1. 1

   AutoResearchEval の導入と評価規模

   7 つの科学分野にまたがる 100 の実世界タスクを用いた「AutoResearchEval」を公開し、8 つのモデル・ハーン組み合わせによる 800 のエージェント軌跡をプロセスレベルで注釈付きで分析した。

2. 2

   失敗パターンの体系的分類

   分析結果に基づき、45 の実証された失敗パターンからなる「AutoResearch Failure Taxonomy (ARFT)」というフレームワークを構築し、エージェントがどこでどのように破綻するかを可視化した。

3. 3

   メタ認知ループの欠如という根本課題

   すべてのモデルと構成において共通する失敗パターンが収束し、現在の AI エージェントは生成結果を検証し、不整合があれば修正し、経路自体を問い直す「メタ認知ループ」を持たないことが判明した。