Databricks、AI エージェントの推論能力を評価する「Grounded Reasoning Cup」を開催

記事の3ポイント

1. 1

   コンテストの実施概要と目的

   Databricks は企業向け文書コレクションに対する推論能力を評価する初のライブ型 AI コンテスト「Grounded Reasoning Cup」を開催し、11 の学術チームが OpenAI や Anthropic などの支援を受けて参加した。

2. 2

   スタンフォード大学の優勝と結果

   Stanford が 63.3% の精度を達成して優勝し、平均チームやフロンティアモデルのオフライン基準をそれぞれ約 22 ポイント、35 ポイント上回った。

3. 3

   成功要因と残された課題

   上位チームは文書前処理、ターゲティング型検索、並列エージェント、構造化ツール使用、検証などの戦略で大幅な改善を達成したが、全チームが解決できなかった質問が 18.8% 存在し、依然として余地があることが示された。