AIは計算の再現性を自動化できるか？

先月、Sakana AI は「完全自動的な科学発見のための最初の包括的システム」と同社が呼ぶ「AI 科学者」をリリースしました。これは人間の限界に苦しむことなく科学を加速できると称賛されました。

残念ながら、「AI 科学者」には多くの欠点があります。新規性のチェックがないため、生成された論文は過去の作業の焼き直しになる可能性があります。また、Sakana は生成された論文に対して人間によるレビュー（専門家による「ピアレビュー」に至るまで）を行っていませんでした—そのため、これらの論文が実際に良いものかどうかは不明です（明らかに良くないようです）。これらの欠陥は Sakana のケースでは特に顕著ですが、適切な評価の欠如はほとんどの AI エージェントに影響しており、その実世界への影響を測定することを困難にしています。

本日、既存の計算研究をいかによく再現できるかを測定するための新しいベンチマークを紹介します。また、このプロジェクトが「一般知能」や AI の潜在的な経済的影響についての私たちの考え方をどのように変えたかについても共有します。論文をご覧ください。

CORE-Bench: 研究再現のための AI を評価する新たなベンチマーク

科学の自動化を目的とした AI のビジョンは魅力的ですが、まだ到達可能な範囲にはなく、欠陥のある科学へと導きます。一方、計算の再現性を検証するなど、範囲が明確に定義されたタスクに AI を活用することで、多くの時間を節約し、より生産的な科学的活動に努力を振り向けることができます。AI はまた、関連する文献の発見や、アイデアを迅速にテストするためのコード作成、その他の計算タスクの実行にも役立つ可能性があります。

新しい論文において、私たちは CORE-Bench（Computational Reproducibility Agent Benchmark）を紹介しました。これは、コードとデータが利用可能な場合に論文の発見を再現する能力、つまり計算的な再現性を AI がどの程度自動化できるかを測定するためのベンチマークです。著者は Zachary S. Siegel, Sayash Kapoor, Nitya Nadgir, Benedikt Stroebl, Arvind Narayanan です。CORE-Bench は、難易度の高い研究タスクの自動化における進歩を厳密に評価するというより大きなプロジェクトへの第一歩となります。

計算的な再現は、人間を対象とした実験などを再実行する必要がある「複製（replication）」というタスクに比べると、はるかに限られた範囲の作業です。しかし、この限定的な再現性のタスクでさえも困難です：2022 年の機械学習再現性チャレンジでは、論文を再現する専門家であってもコードとデータが利用可能だったにもかかわらず、論文の約 3 分の 1 は再現できませんでした。

もし AI がこの平凡でありながら重要なタスクを自動化できれば、研究者はベースラインの実装を自動化できるようになり、査読者は論文に欠陥がないかをより容易に評価でき、ジャーナルやカンファレンスは提出された論文や公開された論文が再現可能かどうかをより簡単に検証できるようになります。

CORE-Bench は、科学論文とそれらに付随するコードおよびデータリポジトリを用いて作成されました。再現可能性が高い論文を入手するために Code Ocean を利用しました。コンピュータサイエンス、医学、社会科学から 90 の論文を手動で再現し、各論文に対して回答を検証するための質問セットを整備しました。

CORE-Bench は 3 つの難易度レベルで公開されています。すべてのレベルのタスクでは、言語機能とビジョン機能の両方の使用が必要です。最も難しいバージョンは現実世界の再現試行に非常に近く、ベンチマークでの改善が実際に科学者にとって有用なエージェントにつながると期待しています。

ベースラインを実装するために、汎用型 AutoGPT エージェントをテストするとともに、AutoGPT に対するタスク固有の修正版である CORE-Agent を実装しました。タスク固有バージョンは精度を大幅に向上させましたが、依然として改善の余地が非常に大きく、最良のエージェント（CORE-Agent with GPT-4o）でも CORE-Bench-Hard における精度は 22% に留まります。

一般性への再考

計算の再現可能性には、コード環境を正しく設定し、コードを実行し、それが論文で報告された結果と同じかどうかを確認することが必要です。シェルやその他のツールの正しい使用は、LLM（大規模言語モデル）にとって依然として難しい課題です。AutoGPT などの汎用型エージェントを評価した際、その精度の低さ（CORE-Bench-Hard で 10% 未満）に驚きはしませんでした。

しかし、数人日の努力をかけることで、AutoGPT を修正して CORE-Agent を構築することができました。これにより、最も困難なレベルでの精度が倍以上に向上しました。また、ゼロからタスク固有のエージェントも構築しましたが、AutoGPT を修正する方がはるかに時間がかからず、かつより強力なエージェントを実現できました。私たちは、このアプローチを実践で有用となる十分な性能を持つエージェントを生み出すためにさらに発展させられる可能性について、慎重に楽観視しています。

シンプルなタスク固有の修正により、CORE-Agent は AutoGPT を上回ることができます。

このように汎用型エージェントを容易に適応させてタスク固有のエージェントを生み出すというパターンが他の分野でも成り立つのであれば、それは「汎用性」について再考させるべきでしょう。汎用性とはおおよそ、同じモデルまたはエージェントを変更せずにさまざまなタスクを実行できる能力を指します。この汎用性の概念は、人工一般知能（Artificial General Intelligence、AGI）が通常どのように理解され、それに伴う希望や恐怖が形成されるかの基盤となっています。

しかし、少なくとも経済的影響の観点から見れば、一般性という概念は誤解を招くものかもしれません。専門家たちが毎年数百万時間を費やしている計算の再現性のようなタスクにおいて、それを自動化できることは、AI システムが箱出しでその機能を備えているか、あるいは数人日（あるいは場合によっては 1 人年）のプログラマによる努力を経て実現されるかにかかわらず、極めて大きなインパクトを持つでしょう。

『AI Snake Oil』という書籍では、一般性をタスク固有性の逆数として定義し、AI（およびコンピューティング）の歴史を、徐々に一般性が高められていく追求として捉えることができることを分析しています。一般性が高まるということは、特定のタスクを実行する AI システムを構築するために必要な人間の努力が減少することを意味します。この観点からすれば、AutoGPT などのシステムは、多くの人々（私たち自身を含む）が認めていた以上に、より一般的である可能性があります。

しかしながら、AGI（汎用人工知能）の定義では通常、単一のシステムが箱出しですべてのことを実行できることを要求します。タスク固有の AI を構築するために必要な人間の努力が時間とともにどのように変化しているかを追跡する体系的な取り組みは存在しません。AI の進歩を過大評価する誤った一般性の概念に反対してきたように、AI の進歩を過小評価する誤った一般性の概念も避けるべきです。

CORE-Bench 論文はこちらで読むことができます。

さらに読むべき文献

最近の論文『AI Agents That Matter』において、私たちは AI エージェントの評価におけるいくつかの欠陥を見つけました。CORE-Bench を構築する過程で、これらの欠陥がベンチマークの設計に反映されました。

私たちは最近、有用かつ信頼性の高い AI エージェントに関するオンラインワークショップを主催し、主要な専門家がより優れたエージェントの設計と評価についての見解を共有しました。ワークショップの動画はオンラインで利用可能です。

Ben Bogin 氏らのチームは、SUPER ベンチマークを発表しました。これは、AI エージェントが研究論文に付随するリポジトリからタスクを設定して実行できるかを評価するためのものです。これは、AI エージェントの研究自動化能力を測定するための別の興味深いベンチマークです。CORE-Bench とは多くの点で異なります：

CORE-Bench は科学分野全体（コンピュータサイエンス、医学、社会科学）にわたるタスクで構成されていますが、SUPER は AI 分野からのタスクのみで構成されています。

CORE-Bench では、ビジョン言語モデルと言語モデルの両方の使用が必要であり、複数のプログラミング言語（Python と R）を含みます。一方、SUPER は言語モデルと Python のみを使用します。

SUPER のタスクでは Jupyter ノートブックへのアクセスが必要です。対照的に、CORE-Bench のタスクではシェルアクセスが必要で、エージェントがサンドボックスを任意に修正できることが許可されています。