ASI-Bench：人工超知能の黎明を測る新たなベンチマーク

記事の3ポイント

1. 1

   ASI-Bench の定義と目的

   既存の知識の圧縮や適用をテストする従来のベンチとは異なり、AI が未知を探求し新しいアイデアを検証可能な結果に変える能力を評価するために設計された初のベンチマークである。

2. 2

   段階的指導の撤廃によるテスト手法

   1 つの研究プロジェクト内で段階的に人間の方法論的指導を撤回し、AI が独自に方法を選択し研究を実行して検証可能な結果を生み出せるかどうかが試される。

3. 3

   厳格な構築プロセスと評価基準

   40 名以上の専門家による 31,000 時間以上の作業で構築され、60 のプロジェクトレベルの課題が 11 の科学分野にわたって設定されている。