科学発見におけるエージェントの評価
Allen AI は、AI エージェントが科学実験を設計・実行する能力を検証するためのベンチマーク「ScienceWorld」と「DiscoveryWorld」の最新評価結果を発表し、現在の最先端モデルでも人間レベルには達していない現状を浮き彫りにした。
キーポイント
AI エージェントの実力と主張のギャップ
多くのチームが科学発見エージェントの開発を謳っているが、実際の性能を検証する証拠は不足しており、Ai2 はその実態をベンチマークで明らかにした。
「本番的知識」と「実践能力」の乖離
2022 年の評価では、モデルは試験問題には高得点だが仮想環境での実験実行は 10% 未満だった。2025 年初頭でも最上位モデルは 4 年生レベルの課題で 80 点台にとどまり、完全解決には至っていない。
DiscoveryWorld の厳しさと現状
科学調査をゼロから設計・実行する難易度の高いベンチマーク「DiscoveryWorld」では、最良のシステムでも高難度タスクの約 20% しか完了できず、平均的な博士号保持者（70%）に大きく劣る。
シミュレーション環境での検証
「Planet X」という架空の宇宙コロニーを舞台にした DiscoveryWorld は、120 の課題を通じてプロテオミクスから疫学まで多様な科学分野におけるエージェントの能力を包括的にテストする。
影響分析・編集コメントを表示
影響分析
この記事は、AI エージェントに対する業界内の楽観的な期待と現実の性能ギャップを客観的に示す重要な指標となり、研究開発のリソース配分や評価基準の見直しを促す可能性があります。特に「科学発見」領域において、単なる言語モデルの能力向上だけでなく、推論と行動計画の統合が不可欠であることを再認識させる内容です。
編集コメント
「AI が科学を革新する」という hype の裏側にある、実証された性能の限界を冷静に分析した貴重な記事です。開発者は過信せず、ベンチマークに基づく客観的な評価を継続すべきというメッセージが強く伝わります。
2026年4月13日
Ai2
誰もがAI科学エージェントの構築に乗り出している。しかし、それらが実際に機能するかどうかをどうやって知ればよいのか？
ソーシャルメディアのフィードを開けば、実験を設計し、コードを書き、研究論文全体を生み出すエージェントを発表するチームが次々と現れる。その主張は壮大なものだが、それを支える証拠は通常、そうではない。だからこそ、AIエージェントが実際に科学を行えるかどうかをテストするベンチマークの構築に長年取り組んできたのである。2022年にリリースされたAi2で開発されたScienceWorldと、2024年にリリースされたDiscoveryWorldという2つのベンチマークは、今日のモデルの能力が、私たちが測定を目的として設計した課題に追いついたことで、新たな重要性を帯びている。
2022年当時、最高のAIモデルは複数の小学レベルの科学試験で高いスコアを記録していた。しかし、同じモデルにその知識を実際に単純な仮想環境で実験を行うことで示すよう求めると、スコアは10%を下回り、「本での知恵（book smarts）」と「現場での知恵（street smarts）」の違いが浮き彫りになった。
その仮想環境は「ScienceWorld」であり、エージェントが小学校レベルの科学実験を遂行できるかどうかを検証するためのベンチマークです。3年後、最先端モデル（2025年初頭時点）は80点台前半のスコアを記録しており、確かに進歩は見られますが、4年生の科学カリキュラムを完全に解決するにはまだ至っていません。さらに、エージェントが独自の科学的調査を設計し実行することを求める、より難易度の高い「DiscoveryWorld」では、最高性能のシステムでも高難度タスクの約20%しか完了できず、これは高度な学位を持つ平均的な人間科学者が約70%の確率で解決できる問題です。
「多くの人が科学エージェントというブームに乗ってエージェントをリリースしていますが」と、ScienceWorldとDiscoveryWorldの開発を主導し、言語モデルがテキストベースのゲームで評価されるための現代インフラストラクチャの多くを構築したAi2の研究者、ピーター・ジェイセンは語ります。「しかし、1年前で最高のシステムでさえDiscoveryWorldの簡単な問題のほとんどを解決できなかったのに、それらが今日大幅に改善されている可能性はどれほど高いでしょうか？」
シミュレーションにおけるエンドツーエンドの科学発見
2024年に公開された「DiscoveryWorld」は、エージェントがゼロからエンドツーエンドの科学的調査を設計・実行できるかどうかを検証するために構築された最初のベンチマークです。DiscoveryWorldは、近未来の仮想的な宇宙植民地である惑星Xを舞台としており、プレイヤーは惑星Xの科学者の一人の役割を果たします。
DiscoveryWorld には、プロテオミクスやロケット科学から放射性同位体年代測定や疫学に至るまで、8 つのトピックにまたがる 120 のチャレンジタスクが含まれており、3 つの難易度レベルで提供されています。各実行ごとにデータ、解答、環境レイアウトが変化するパラメトリックな変動も設定されています。タスクは架空の科学的文脈で設定されているため、エージェントは既存の知識に頼ることはできません。例えば、あるタスクでは感染症のアウトブレイクの原因を特定する必要があり、別のタスクでは量子反応炉を支配する数学的関係性を解明する必要があります。これらはいずれも、仮説の立案、実験の設計と実行、結果の分析を必要とし、しば数百回のゲーム内アクションを要します。DiscoveryWorld のスコアリングは、エージェントがタスクを解決したかどうかだけでなく、科学的プロセスに従ったか、そして発見した内容を本当に理解していたかを評価し、真の洞察と運による推測を区別します。
ヤンセンの説明によれば、これらの評価は、「本からの知恵」（試験問題に答えるようなもの）と「現場の知恵」、すなわち科学的方法論を用いて新たな発見を行う能力との差を測定するものです。熟練した人間科学者は DiscoveryWorld 内のすべての発見を達成できますが、最新の主要エージェントは、通常およびチャレンジ難易度において DiscoveryWorld タスクの約 80% を完了できません。概念を知っていることと、それを適用できることは全く異なるということです。
この難しさにもかかわらず、あるいはそのために——DiscoveryWorldは広範な関心を集めている。この論文はほぼ80回引用され、ニューサイエンティスト紙でも取り上げられた。
「私たちは通常、非常に挑戦的なベンチマークをリリースしますが、モデルや手法が追いつく1〜2年後には、はるかに人気のあるものになります」とJansen氏は語る。「ScienceWorldもまさにその通りであり、DiscoveryWorldも今まさにそのような状況になりつつあると言えます。実際、現在のモデルの価格対パフォーマンス比を考慮すれば、DiscoveryWorldを使ってエージェントが長期にわたる科学的発見タスクを解決できるかどうかを試すのに、これほど適した時期はないと私は主張します。」
初等レベルでの実験実行
ScienceWorldはより基礎的なベンチマークです。DiscoveryWorldが大学や博士課程レベルでのオープンエンドな発見——新規調査の設計や曖昧な結果の解釈——を検証するのに対し、ScienceWorldはエージェントが今日の科学教科書に見られるような実験を、「再発見」できるかどうか、つまり初等学校レベルで古典的な科学的発見を「作り直す」ことができるかを問うものです。
ScienceWorldは、10の相互に関連する場所（キッチン、ワークショップ、温室など）をまたぐテキストベースのシミュレーション世界にエージェントを配置します。そこには、実際のラボで振る舞う約200種類のオブジェクトが存在し、加熱されると氷が溶け、使用される材料に基づいて回路が導通し、適切な条件下で植物が成長します。複数の選択肢から水の沸点を選ぶのではなく、エージェントには未知の物質、温度計、ストーブが与えられ、それ自体で沸点を特定するよう求められます。エージェントはテキストコマンドを発行し、次の状況を説明する応答を受け取り、状態変化、化学薬品の混合、メンデル遺伝学の実験などのカテゴリにわたる30種類のタスクを処理します。各タスクには数百のランダムな構成があり、エージェントは解答を暗記して成功することはできません。一般化能力が求められます。
このレベルでは、「知っていること」と「実行すること」の間のギャップは依然として広いです。ScienceWorldが公開された際、科学知識の標準的なベンチマークであるARC科学試験で「A」評価を受けた同じモデルでも、ScienceWorldの90%以上で失敗しました。両者は概念的な内容をカバーしているにもかかわらずです。融点の概念を知っていることが、それを測定する方法を理解することにどれほど遠いかということがわかります。
その後のスコアは上昇しています。Microsoft Researchが2025年に公開したScienceWorldを含むベンチマークスイート「TALES」によると、主要なモデルは80点台前半のスコアを記録しました。これは3年前の10%未満から劇的な改善ですが、タスクを完全に解決するにはまだ至っていません。
「近い将来、サイエンスエージェントが疾患の治療や新素材の創出、その他の重要な発見を支援することを願っています」とJensenは語ります。「DiscoveryWorldとScienceWorldは、簡略化された仮想世界においてエージェントのエンドツーエンドの科学的能力をテストすることで、そのプロセスを開始できるかどうかを測定するのを助けます。基本的な科学で失敗するようなエージェントに、がんを治す希望があるでしょうか？」
DiscoveryWorldやScienceWorldのようなベンチマークは、サイエンスエージェントが実際に何ができるかをテストするのに役立ちます。私たちはこれらのベンチマークと並行して、可能の限界を押し広げるシステムも構築しています。なぜなら、進歩を遂げることとそれを測定することは、同じ取り組みの両面だからです。DiscoveryWorldとScienceWorldはオープンかつ無料で提供されており、有望なアイデアを実証された結果に変えることを目的としています。
最新のAi2ニュースに関する月次アップデートを受け取るために登録してください。
原文を表示
April 13, 2026
Ai2
Everyone's building AI science agents. But how do you know if they actually work?
Open any social media feed and you'll find teams announcing agents that design experiments, write code, and produce entire research papers. The claims are extraordinary. The evidence behind them, usually, is not. That's why we've spent years building benchmarks that test whether AI agents can actually do science. Two developed at Ai2 – ScienceWorld, released in 2022, and DiscoveryWorld, released in 2024 – have taken on new significance, as the capabilities of today's models have caught up to the challenges we designed the benchmarks to measure.
In 2022, the best AI models scored highly on multiple-choice grade-school science exams. But when those same models were asked to demonstrate that knowledge by performing experiments in a simple virtual environment, they scored below 10%, highlighting the difference between “book smarts” and "street smarts."
That virtual environment was ScienceWorld, our benchmark that tests whether agents can carry out elementary-school science experiments. Three years later, top frontier models (as of early 2025) score in the low 80s—real progress, but still short of fully solving a 4th-grade science curriculum. And on DiscoveryWorld, our harder benchmark that asks agents to design and execute their own scientific investigations, some of the best systems complete only ~20% of tasks at higher difficulty—problems that average human scientists with advanced degrees solve ~70% of the time.
"So many folks are jumping on the science agent bandwagon and releasing agents," says Ai2 Researcher Peter Jansen, who led development of ScienceWorld and DiscoveryWorld and has built much of the modern infrastructure enabling language models to be evaluated on text-based games. "But if the best systems a year ago couldn't even solve most of the easy problems in DiscoveryWorld, how likely is it that they're much better today?"
End-to-end scientific discovery, in simulation
DiscoveryWorld, released in 2024, is the first benchmark built to test whether an agent can design and execute end-to-end scientific investigations from scratch. DiscoveryWorld takes place on Planet X, a hypothetical space colony in the not-so-distant future, and the player takes the role of one of the scientists on Planet X.
DiscoveryWorld contains 120 challenge tasks spanning eight topics – from proteomics and rocket science to radioisotope dating and epidemiology – across three difficulty levels, with parametric variations that change the data, solution, and environment layout each run. Tasks are set in fictional scientific contexts so agents can't fall back on prior knowledge: in one, an agent has to determine the cause of an illness outbreak; in another, it has to uncover the mathematical relationship governing a quantum reactor. Each requires forming hypotheses, designing experiments, running them, and analyzing results — often over hundreds of in-game actions. DiscoveryWorld scores not just whether the agent solved the task, but whether it followed a scientific process and whether it actually understood the discovery it made, distinguishing genuine insight from lucky guessing.
As Jansen describes it, these evaluations measure the difference between "book smarts" (like answering exam questions) and "street smarts"—i.e., using the scientific method to make new discoveries. While practicing human scientists find all of the discoveries in DiscoveryWorld, recent leading agents can't complete roughly 80% of DiscoveryWorld's tasks at normal and challenge difficulty—knowing what a concept is and being able to apply it are different things entirely.
Despite this difficulty – or perhaps because of it – DiscoveryWorld has drawn wide interest. The paper has been cited nearly 80 times and covered by New Scientist.
"We tend to release benchmarks that start out being very challenging, but they become much more popular a year or two later as models and methods catch up," Jansen says. "ScienceWorld was very much like that, and DiscoveryWorld seems like it's getting like that now. In fact, with models at their current price-to-performance ratio, I’d argue there’s never been a better time to test whether your agent can solve long-horizon scientific discovery tasks with DiscoveryWorld.”
Executing experiments at the elementary level
ScienceWorld is a more foundational benchmark. Where DiscoveryWorld tests open-ended discovery at a college or PhD level – designing novel investigations and interpreting ambiguous results – ScienceWorld asks whether an agent can “re-make” classic scientific discoveries at roughly an elementary-school level—the kinds of experiments found in today's science textbooks.
ScienceWorld places agents inside a text-based simulated world spanning ten interconnected locations – a kitchen, a workshop, a greenhouse, and others – populated with around 200 types of objects that behave as they would in a real lab: ice melts when heated, circuits conduct based on the materials used, and plants grow under the right conditions. Instead of picking the boiling point of water from a list of multiple-choice answers, an agent might be given an unknown substance, a thermometer, and a stove, and asked to figure out the boiling point itself. Agents issue text commands and receive descriptions of what happens next, working through 30 task types across categories like changing states of matter, mixing chemicals, and running Mendelian genetics crosses. Each of the 30 tasks has hundreds of randomized configurations, so an agent can't succeed by memorizing solutions—it has to generalize.
At this level, the gap between knowing and doing is still wide. When ScienceWorld launched, the same models that received an 'A' grade on the ARC science exam – a standard benchmark for scientific knowledge – failed more than 90% of ScienceWorld, despite both covering the same conceptual material. Knowing what a melting point is turns out to be a far cry from figuring out how to measure one.
Scores have climbed since then. TALES, a 2025 benchmark suite from Microsoft Research that includes ScienceWorld, found that leading models scored in the low 80s—a dramatic improvement from sub-10% three years earlier, but still short of fully solving the tasks.
“We hope that in the near future, science agents will help treat diseases, create new materials, and generate other important discoveries,” Jensen says. “DiscoveryWorld and ScienceWorld help measure whether agents can begin that process by testing their end-to-end scientific capabilities in simplified virtual worlds. If an agent flunks basic science, what hope does it have of curing cancer?”
Benchmarks like DiscoveryWorld and ScienceWorld help test what science agents are actually capable of—and we're building them alongside systems that push the boundaries of what's possible, because making progress and measuring it are two sides of the same effort. DiscoveryWorld and ScienceWorld are open and freely available, with the goal of helping turn promising ideas into proven results.
Subscribe to receive monthly updates about the latest Ai2 news.
関連記事
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み