スタンフォード大ら、科学者主導の AI エージェント評価ベンチ「Terminal-Bench-Science」を公開

「Terminal-Bench-Science」は、研究者自身の業務ワークフローに基づいて AI エージェントを評価するベンチマークです。科学における AI の能力基準を決めるのは、モデル開発者やデータベンダーではなく、科学者自身です。

このベンチマークはスタンフォード大学の研究者が主導し、Terminal-Bench を手がけたチームが中心となって構築しました。さらに、世界中の多様な科学分野および研究機関から集まったドメインエキスパートと協力して進められています。専門家が厳選した、科学調査に根ざした難易度の高いワークフローを多数取り入れることで、AI エージェントの実力を測定します。

「Terminal-Bench-Science」は最先端の AI とともに進化し続ける継続的なベンチマークです。これにより、科学界のニーズと AI 開発の間にはフィードバックループが形成されます。最初のリリースでは、生命科学、物理学、地球科学、数学、工学の各分野から 70 のタスク を含んでいます。現時点で最も性能が高いと評価されたモデル「Claude Opus 5」でも、「Terminal-Bench-Science 0.1」における解決率は 30% に留まっています。

Terminal-Bench-Science 0.1 リーダーボード

Claude Opus 5: Claude Code (30.0%)

GPT-5.6 SolCodex: Codex (22.4%)

Claude Fable 5: Claude Code (21.4%)

Claude Opus 4: Claude Code (10.5%)

GPT-5.6 TerraCodex: Codex (8.6%)

GLM 5.3: Claude Code (8.1%)

Kimi K3: Claude Code (7.1%)

Grok 4: Grok Build (7.1%)

GPT-5.6 LunaCodex: Codex (3.3%)

*Terminal-Bench-Science 0.1 の 70 の科学ワークフロータスクにおける解決率*

Terminal-Bench はソフトウェアエンジニアリング分野における AI エージェントの進化を牽引してきましたが、Terminal-Bench-Science は同じ野望を科学の領域に持ち込みます。私たちの目標は、有用な研究アシスタントとなるような科学的能力を備えたエージェントの開発を推進することです。これらのエージェントは、技術的に難易度が高く時間のかかるワークフローを実行し、研究者が人間の判断が最も重要な分野——研究課題の定義、仮説の構築、結果の解釈と検証、そして発見の共有——に時間を集中できるよう支援します。この役割において、AI エージェントは研究者の成果を拡張し、科学発見の加速に貢献できるのです。

これを実現するには、実際の科学実践を反映し、能力に対する検証可能な証拠を提供し、AI の最前線とともに進化していくベンチマークが必要です。

科学のベンチマークは、実際の研究ワークフローから抽出されるべきです。科学的能力は、教科書的な質問や標準化された演習ではなく、実践する研究者自身が貢献する現実の研究現場に基づいて評価されるべきです。Terminal-Bench-Science は、各分野の科学者に直接的な発言権と共通のプラットフォームを提供し、彼らが関心を持つ課題における AI の進歩の基準を設定することを可能にします。科学におけるリスクはあまりにも高く、そのベンチマークは外部の利害ではなく、科学コミュニティの優先事項を反映するものでなければなりません。

科学的能力に対する検証可能な証拠が必要です。信頼できる評価がなければ、エージェントの能力が向上しているのか、あるいはどこに制限が残っているのかを判断できません。Terminal-Bench-Science は、現実的な環境でエージェントを評価し、再現可能でタスク固有のテストを通じて、分析、シミュレーション、証明、コード、データ製品といった具体的な成果物を採点します。

最先端の進展に合わせて進化し続けるベンチマークが必要です。科学のベンチマークは、進歩を促す仕組みではなく、論文として発表するためのものとして扱われることが多すぎます。一度リリースされると、モデルが進化しても既知の制限が解消されないまま放置されがちです。Terminal-Bench-Science は、AI の最先端と並行して進化し続ける継続的なベンチマークです。定期的なリリースを通じて、科学者は新しいワークフローを貢献したり、既存のタスクを改善したりでき、科学のニーズと AI 開発の間にフィードバックループを構築できます。

Terminal-Bench-Science フィードバックループ

SCIENTIFICCOMMUNITYFRONTIER AIAGENTS & MODELSContributeworkflowsEvaluate &improveAccelerate discovery *Terminal-Bench-Science Feedback Loop* Terminal-Bench-Science 0.1 は、生命科学、物理学、地球科学、数学、工学の 5 つ分野にまたがる 70 のタスクを含んでいます。対象となるタスクは、科学的データ分析、統計的推論、シミュレーション、最適化、定理証明、画像再構成、信号処理、逆問題、センサー較正、モデルフィッティング、分類、そして科学機械学習まで多岐にわたります。

Terminal-Bench-Science 0.1 のタスクカバレッジ

LIFE SCIENCES（生命科学）

19 タスク

• Biology: 8
• Medicine & Health: 6
• Neuroscience: 4
• Ecology & Evolution: 1

PHYSICAL SCIENCES（物理学）

17 タスク

• Astronomy & Cosmology: 6
• Physics: 5
• Materials Science: 4
• Chemistry: 2

EARTH SCIENCES（地球科学）

8 タスク

• Geoscience: 5
• Atmosphere & Climate: 1
• Ocean & Marine: 1
• Environment & Sustainability: 1

MATHEMATICAL SCIENCES（数学）

17 タスク

• Applied Mathematics & Scientific Computing: 6
• Operations Research & Optimization: 5
• Formal Mathematics & Theorem Proving: 3
• Statistics: 3

ENGINEERING SCIENCES（工学）

9 タスク

• Mechanical & Aerospace Engineering: 5
• Electrical & Computer Engineering: 2
• Chemical & Process Engineering: 1
• Civil & Structural Engineering: 1

*70 expert-curated tasks across five scientific domains* タスクは、研究者が GitHub のオープンなプロセスを通じて貢献しており、議論やフィードバックは #tb-science チャンネルで行われます。

Discord のコミュニティでは、貢献は提案から始まります。レビュー担当者が各アイデアを検討し、フィードバックを残した上で、科学的根拠に基づきベンチマークで測定する価値のあるワークフローと判断されたものだけが承認されます。

承認された提案はプルリクエストとして実装され、レビュー担当者は各タスクが客観的に検証可能であり、AI エージェントにとって真に困難なものであり、現在の最先端システムですでに容易に解決できるようなものではないことを確認します。マージには、ドメインの専門家が科学的妥当性と実現性を評価し、技術者がタスクの構築と検証プロセスを検査し、最終的な品質チェックを「バー・レイザー」が実施します。

920 の提案のうち 464 が実装のために承認され、386 のプルリクエストが開かれましたが、Terminal-Bench-Science 0.1 に採用されたのはわずか 70 タスクです。この選抜の厳しさは、科学的に興味深く、最先端のエージェントにとって困難であり、かつ厳密な評価のために十分に明確に定義されたタスクを作成することがいかに難しいかを反映しています。

提案、プルリクエスト、レビューにおける進捗状況は、パブリック・タスクダッシュボードで追跡されています。Terminal-Bench-Science 0.1 は、科学研究のための AI エージェントにおいて、まだ大きな成長の余地を残しています。

評価された各モデルは、70 の全タスクについてそれぞれ独立した 3 回の試行を行いました。Claude Opus 5 に Claude Code を組み合わせたものが最も高い解決率である 30.0% を記録し、次いで GPT-5.6 Sol と Codex の組み合わせが 22.4%、Claude Fable 5 と Claude Code の組み合わせが 21.4% でした。

Claude Opus 4.8 は 10.5% で中位に位置しています。GPT-5.6 Terra、Kimi K3、Grok 4.6 はいずれもタスクの解決率が 10% に満たず、GLM 5.3 が最も強いオープンモデルとして 8.1% を記録しました。一方、GPT-5.6 Luna は 3.3% で最下位となりました。

Terminal-Bench-Science は、Terminal-Bench 3.0 と同様にシステム間の性能差を明確に識別できる一方で、両ベンチマークで評価されたすべてのモデルにおいて解決率を 10 ポイント以上引き下げました。この意図的なギャップは、レビュー過程で最新モデルの限界に挑戦するようタスクが調整された結果です。

Terminal-Bench-Science と Terminal-Bench の比較では、Terminal-Bench 2.1 では Opus 5 が 30.0%、GPT-5.6 Sol が 22.4%、Fable 5 が 83.8% を記録しました。Terminal-Bench 3.0 では Fable 5 が 21.4%、Opus 4.8 が 78.9%、GPT-5.6 Terra が 78.4%、GPT-5.6 Luna が 75.7% でした。そして Terminal-Bench-Science 0.1 では、Opus 4.8 が 10.5%、GPT-5.6 Terra が 8.6%、GPT-5.6 Luna が 3.3% となっています。

*Terminal-Bench 2.1、Terminal-Bench 3.0、および Terminal-Bench-Science 0.1 の解決率詳細は こちら で確認できます。*

性能の向上は一つの側面に過ぎません。コストと解決率のプロットを見ると、70 の全タスクにおける総評価コストと解決率の関係が示されています。GPT-5.6 Luna、Kimi K3、GPT-5.6 Terra は、フロンティアモデルの中でも低コスト側に位置しています。一方、GPT-5.6 Sol と Claude Opus 5 は高い解決率を達成していますが、その分コストも高く、Opus 5 は 7,000 ドルに達します。

GPT-5.6 Sol は、Claude Fable 5 と同等の性能を、コストが約 3 分の 1（4,200 ドル対 14,200 ドル）で実現しています。トークン使用量で見るとまた異なるフロンティアが広がります。Claude Fable 5 は GPT-5.6 Sol と同等の性能を、約 4 分の 1少ないトークン数（64 億対 84 億）で達成しています。

低トークン数領域をキミ K3 が、高解像度領域を Claude Opus 5 がそれぞれ牽引しています。両方のパレートフロンティアに同時に登場するのは、この二つのモデルのみです。

Terminal-Bench-Science 0.1 のコスト対解像度率とトークン数対解像度率のパレートフロンティアは、評価対象システム全体を比較したものです。

解像度率は科学分野によって大きく異なります。アンソロピック社と OpenAI のモデルは、すべての分野でトップ2位を占めています。ただし工学系科学では例外があり、Grok 4.6 が GPT-5.6 Sol と並んで2位（14.8%）を獲得しています。これは、より低コストかつ少ないトークン数での達成です。

Claude Opus 5 は、数学系科学を除くすべての分野で GPT-5.6 Sol や Claude Fable 5 を上回っています。数学系科学では、Claude Fable 5（33.3%）と GPT-5.6 Sol（31.4%）がトップ2位を争っています。

各分野の詳細な内訳は リーダーボード で確認できます。

Terminal-Bench-Science 0.1：分野別解像度率

分野別解像度率（Opus 5、GPT-5.6 Sol、Grok 4.6）:

• 生命科学: Opus 5 (29.8%)、GPT-5.6 Sol (45.8%)、Grok 4.6 (29.6%)
• 地球科学: Opus 5 (25.5%)、GPT-5.6 Sol (27.5%)、Grok 4.6 (17.5%)
• 工学系科学: Opus 5 (20.8%)、GPT-5.6 Sol (14.8%)、Grok 4.6 (31.4%)
• 数学系科学: Opus 5 (23.5%)、GPT-5.6 Sol (7.0%)、Grok 4.6 (4.2%)
• 物理科学: Opus 5 (14.8%)、GPT-5.6 Sol (5.9%)、Grok 4.6 (5.9%)

*分野別解像度率：Opus 5、GPT-5.6 Sol、Grok 4.6*

Terminal-Bench-Science 0.1 は、生命科学・物理学・地球科学・数学・工学の研究者たちと、Terminal-Bench および Harbor チームが共同で取り組むコミュニティプロジェクトです。これはオープンソースで構築可能な範囲において、最も厳格な科学エージェントの能力を測るベンチマークであり、まだ始まったばかりです。Terminal-Bench-Science 0.1 は、継続的に更新されるベンチマークの最初のリリースとなります。

今後の定期リリースでは、タスクの追加や5つの科学分野におけるカバー範囲の拡大、エージェントが飽和したタスクやレビューで不十分さが明らかになったタスクの削除、そして新たな最先端モデルの登場に合わせて リーダーボード の更新を行います。各リリースは、その時点での最先端モデルに対してキャリブレーション（較正）されています。Terminal-Bench-Science 0.1 では Claude Opus 5 と GPT-5.6 Sol が基準となり、より強力なモデルが登場した際には、それらを用いて新しいタスクや改善されたタスクの評価と較正を行っていきます。タスクはバージョン管理されており、単一の Harbor コマンドで試行を再利用・再評価・再実行できるため、結果の更新にかかるコストを抑えることができます。

進捗状況は タスクダッシュボード で公開され、すべてのリリースは GitHub と Harbor Hub にタグ付けされています。

Terminal-Bench-Science 0.2 の開発はすでに始まっており、プルリクエストの締切は 2026 年 10 月 5 日 です。最先端エージェントが実現すべきだがまだできないワークフローを持つ研究者の方は、ぜひその課題をベンチマークに追加してください。貢献の流れは「提案→構築→レビュー」です。

タスク提案フォームから課題を提案し、コントリビューションガイド に従って構築してください。その後、自動チェックやドメイン・技術的な並列レビューを経て、最終的に基準引き上げ担当者の承認を得てマージされます。

Discord の #tb-science チャンネルや GitHub で一緒に取り組みましょう。また、プロジェクトカレンダー から参加できる週次ミーティングやオフィスアワーにも足を運んでください。科学者が AI の科学的能力をどう定義し、厳密に測定するかを、私たち一同で決めていきましょう。

この取り組みが役に立つと感じたら、ぜひ引用してください。GitHub の「Cite this repository」ボタン（CITATION.cff から生成）を利用するか、以下の情報を使って手動で引用できます。

@software{Terminal-Bench-Science_Team_Terminal-Bench-Science_Evaluating_AI_2026,
  author = {{Terminal-Bench-Science Team}},
  doi = {10.5281/zenodo.22110254},
  license = {Apache-2.0},
  month = aug,
  title = {{Terminal-Bench-Science: Evaluating AI agents on research workflows across scientific domains}},
  url = {https://github.com/harbor-framework/terminal-bench-science},
  version = {v0.1.0},
  year = {2026}
}

Terminal-Bench-Science の構築に尽力いただいた、すべてのタスク貢献者・レビューアー・アドバイザーの皆さまに感謝いたします。

プロジェクトのリードアドバイザーとして Ludwig Schmidt 氏と Sanmi Koyejo 氏、シニアレビューアーとして Allen Hart 氏、Ivan Bercovich 氏、Joseph Janssen 氏、Jiaming Hu 氏、Steffen Bollmann 氏、Sergey Aganezov 氏、AI 研究アドバイザーとして Ryan Marten 氏、Alex Shaw 氏、Lin Shi 氏、Benjamin Feuer 氏、Mike A. Merrill 氏、Alex Dimakis 氏、Jenia Jitsev 氏、Bodhisattwa Majumder 氏、Peter Clark 氏、Thomas Wolf 氏、Braden Hancock 氏、Andy Konwinski 氏、そして科学アドバイザーとして Sara Beery 氏、Jo Dunkley 氏、J. Nathan Kutz 氏、Ching-Yao Lai 氏、Scott Linderman 氏、Emma Lundberg 氏、Russ Poldrack 氏、Aviv Regev 氏、Risa Wechsler 氏の皆様に、心より御礼申し上げます。

Terminal-Bench-Science は、スタンフォード大学とローデ研究所が主催するオープンな学術協働プロジェクトです。スタンフォード AI ラボ (SAIL)、人間中心人工知能研究所 (HAI)、Stanford AI Measurement Science (AIMS)、NSF 機械学習基礎研究所 (IFML)、アレン研究所、そしてアレン人工知能研究所 (Ai2) と連携して運営されています。

Terminal-Bench フランチャイズの一環として、Terminal-Bench チームと Harbor チームが中心となり、科学分野の貢献者コミュニティと共に構築されました。

本プロジェクトは、Slingshots プログラムを通じて Laude Institute の支援を受けました。また、Open Benchmarks Grants program を通じた Snorkel AI の支援、タスクレビューとキュレーションのための PP API クレジットを提供した 2077AI Open Source Foundation、そして Terminal-Bench-Science の運営を後押しした UniPat AI と Modal にも感謝いたします。

さらに、リーダーボード評価を支える API クレジットを提供いただいた Bespoke Labs、Anthropic、Google、Moonshot AI、SpaceXAI、Z.ai にも深くお礼申し上げます。

執筆：Steven Dillmann