AstaBench の更新：新結果と業界での採用拡大

[AstaBench](https://allenai.org/asta/bench) は、AI エージェントの科学的研究能力を測定するためのオープンベンチマークですが、新たな結果ラウンドが発表されました。 GPT-5.5 を含む最先端の最強モデルを 2,400 件以上の研究課題でテストし、リーダーボードを更新しました。AstaBench の公開以来（昨年 8 月）、AI はコーディング、推論、言語タスクにおいて急速に向上しており、私たちはその進歩が、より困難で複雑な科学的研究の現場にどの程度転用されているかを把握したかったのです。 また、AstaBench が Ai2 の枠を超えて普及しつつあることを嬉しくお伝えします。UK AI Security Institute (UK AISI) からの採用に加え、Elicit、SciSpace、Distyl AI、EvoScientist などの組織から一般推論およびエージェントの提出がなされています。 AstaBench は、AI が実証された科学的研究を遂行できるかどうかを追跡するための、分野全体で共有され透明性の高い手段を提供するために構築されました。すべてオープンソースであるため、誰でも実行したり、リーダーボードに提出したり、ツールの上に新たな機能を構築したりできます。新しい結果と拡大するパートナーシップにより、AstaBench は科学的 AI における権威あるベンチマークとして注目を集めています。 ## AstaBench とは何か？ 科学的研究のために利用可能な AI エージェントやモデルが数十に上り（多くは専用 API を通じてのみアクセス可能で、すべて異なる方法でテストされています）、どのものが困難な研究タスクで良好に機能するかを把握するのは容易ではありません。そこで私たちは、AstaBench を作成しました。これは、有能な科学用 AI エージェントのためのオープンエコシステムである Asta と同時にリリースされたものです。 このベンチマークは、科学文献の探索と理解、コードの記述と実行、データセットの分析、そしてエンドツーエンドの研究発見ワークフローの実行という 4 つのカテゴリーにわたる数千の問題に対してエージェントをテストします。評価フレームワーク、ツール、および一般用途向けおよび科学最適化型の両方の大規模なベースラインエージェントコレクションはすべてオープンソースであり、開発者が拡張したり比較したりするための出発点を提供しています。詳細は、国際学習表現会議（ICLR）2026 で口頭発表として掲載された[AstaBench 論文](https://openreview.net/forum?id=M7TNf5J26u)をご覧ください。 8 月に AstaBench の結果を初めて公開した際、タスクを専門的なサブエージェントにルーティングする私たちの Asta v0 が最上位スコアを獲得し、すべての問題カテゴリー全体で約 53% の総合スコアを達成しました。しかし、パフォーマンスには偏りがありました。文献検索やコード実行といった焦点を絞ったタスクではエージェントがそれなりに機能したものの、エンドツーエンドの発見プロセスは全く異なる状況でした。AstaBench のサブタスクである E2E-Bench-Hard では、簡略化や足場付けなしに研究アイデアから動作するコードおよび書かれたレポートまで完全に完了させるようエージェントに要求しますが、私たちの最良のエージェントが完璧にエンドツーエンドで完了できたのはタスクのわずか 3% でした。実際には、必要なステップのおよそ 60〜70% を成功裏に完了することが多かったものの、それでも完全なタスクを完了することはできませんでした。 AI は科学プロセスの個々のステップを支援できますが、それらを結びつけて完全なワークフローを構築することは、依然としてはるかに困難な問題です。 ## 新たにテストしたモデル AstaBench の公開以来、多くの主要モデルがリリースされ、推論能力も強化されています。これらのモデルが科学タスクをより効果的に解決できるのか、それとも AstaBench が明らかにする課題は、単に優れたモデルだけでは解決できないものなのかを確認したかったのです。 以下のモデルを ReAct エージェントフレームワークを使用して実行しました: - Claude Opus 4.7, Claude Opus 4.6, および拡張思考機能付きの Claude Sonnet 4.6（最大努力、適応的思考） - GPT-5.5 と GPT-5.4 (xhigh reasoning) - 高思考モード搭載の Gemini 3.1 Pro Preview 集計リーダーボードでは、Claude Opus 4.7 が問題あたり平均コスト 3.54 ドルで全体 58.0% のスコアを記録し首位となりました。次いで Claude Opus 4.6 が 55.3%、Claude Sonnet 4.6 が 54.5% です。GPT-5.5 は問題あたり 1.61 ドルで 52.9% を達成し、Asta v0 (53.0%) の直後に位置し、このラウンドにおける Claude 以外の最前線モデルの中で最も強力な結果となりました。Gemini 3.1 Pro Preview は 49.6%、GPT-5.4 は 46.5% です。興味深いことに、これらの結果は互いに対して品質とコストのパレートフロンティア上にあり、望ましい品質とコストのトレードオフに応じていずれが好まれるかは異なります。 昨年初期に発表された最前線モデルの結果と比較すると、今回の新しい実行では 4 つの明確な変化が見られます: - トップスコアは全体的に大幅に改善しましたが、ベンチマークはまだ解決された状態には程遠いです。 - カテゴリ別の向上度はカテゴリ間で偏りがあり、コード＆実行とエンドツーエンドの発見ではトップスコアが大幅に増加した一方、データ分析と文献理解では中程度の上昇にとどまりました。 - 各プロバイダーにおけるコストは急激に上昇しており、絶対額で見ると最もパフォーマンスが高い Claude 構成が最も高価となっています。 - GPT-5.5 は非 Claude の最前線モデルの上限を引き上げ、特にコンポーネントタスクにおいて顕著ですが、最も困難なエンドツーエンドワークフローでは依然として苦戦しています。 カテゴリ別の結果は分かれた状況を示しています。現在の最前線のランニングの中で、GPT-5.5 はコード＆実行とデータ分析で首位に立ち、文献理解においては Claude のトップランに近いスコアを記録しています。Claude Opus 4.7 は依然としてエンドツーエンドの発見で首位ですが、この評価自体が Claude モデルによって行われているという注意が必要です。 フロンティアラン全体を通じて、より高い性能は通常、より高い平均コストを伴うものであり、この傾向は Claude ファミリーにおいて最も顕著です。同ファミリーが総合的な最上位結果も生み出しています。Claude ラン内では、Opus 4.7 は Opus 4.6 より総合で 2.7 ポイント向上していますが、そのコストは非常に高く、問題あたり約 62% 増となっています。コストとスコアの増加の大部分は「エンドツーエンド発見 (End-to-End Discovery)」から生じており、Opus 4.7 はここで 10.2 ポイント（17%）差で勝利しますが、ステップ数は 54% 多く、コストは 65% 増となっています。コスト増加の一部は、Opus 4.7 の新しいトークナイザーによるものと考えられます。このトークナイザーは、同じテキストに対してトークン数を 1.0–1.35 倍にスケールさせることが知られています。注目すべきは、Opus 4.7 は「コード & エグゼキューション (Code & Execution)」において Opus 4.6 よりわずかに劣っているにもかかわらずコストがかさむ点です。これは、単なる改善ではないことを示唆しています。 GPT-5.5 はコストと性能の関係を大きく変えています。総合では Opus 4.7 に 5.1 ポイント差まで迫りながら、問題あたりのコストは半分以下で済みます。また、上位の Claude ランよりも低いコストで、いくつかのカテゴリー別評価において首位に立っています。ただし、その「エンドツーエンド発見 (End-to-End Discovery)」の結果が弱いため、コーディング、文学理解、データ分析における高い性能が、自動的に堅牢なエンドツーエンド型の科学作業へと直結するわけではないことが示されています。 GPT-5.4 と Gemini 3.1 Pro Preview は、全体スコアでは GPT-5.5 に次ぐ位置にありますが、両者とも一部の構成要素カテゴリにおいては低コストで依然として競争力を持っています。データ分析（Data Analysis）は、新しいフロンティアでの実行において相対的に安価なままであり、上位の結果は問題あたり 0.18 ドルから 0.44 ドルの範囲にあります。一方、最高スコアを記録したエンドツーエンド発見（End-to-End Discovery）の実行は、依然として非常に高コストです。最近の進歩は最も困難なワークフローにおいて最も大きく、その分コストも高くなっています。 これらの指標を総合すると、フロンティアモデルは科学タスクにおいて急速に改善しているものの、その進展は均一ではなく、まだ道のりは遠いことが示唆されます。GPT-5.5 はいくつかの構成要素スキル、特にコード＆実行（Code & Execution）とデータ分析（Data Analysis）の上限を引き上げました。しかし、最も困難なベンチマークカテゴリでは、個々の科学サブタスクを解決できるモデルと、研究ワークフロー全体をエンドツーエンドで実行できるエージェントとの間に明確な隔たりが存在し続けています。 結果の詳細な内訳については、[更新された AstaBench リーダーボード](https://allenai.org/asta/leaderboard) をご覧ください。 ***スコアリングモデルの更新：***以前、ScholarQA-CS2 およびエンドツーエンド発見タスクに使用していたモデルは廃止されました。各プロバイダが推奨するアップグレードパスに従い、同じファミリー内の新しいバージョンに置き換えました。エンドツーエンド発見用の新しいスコアラーは特に厳格で、以前のスコアラーよりも捏造された結果やプレースホルダーコードをより確実にペナルティとして扱います。ScholarQA-CS2 タスクのスコアはオリジナルと同等です。エージェント間の公平な比較を維持するため、パブリックリーダーボードの結果もこれらのタスクに対する再スコアリングされた数値で更新されています。 ***コスト数値は、各評価済みエージェント設定の下でのベンチマーク測定による問題あたりの平均 LLM コスト（LLM cost）を示しています***。これにはハネスの差異、ツールの使用状況、およびモデル呼び出し回数における違いが含まれます。これは基盤となる API 価格の直接的な対比比較として解釈すべきではありません。 ## 業界からの採用 AstaBench は業界標準となるように設計されており、リーダーボードへのエージェント提出数の増加と広範な採用が進んでいることを嬉しく思います。 **UK AISI.** [Inspect Evals](https://inspect.aisi.org.uk/evals/) は、英国 AI 安全研究所（AISI）が提供する業界標準の評価フレームワーク「Inspect」を用いて構築された、LLM 評価のオープンコレクションです。[Arcadia Impact](https://www.arcadiaimpact.org/) は UK AISI と共同で Inspect Evals を作成し、AstaBench のこのコレクションへの追加に取り組んでおり、これにより広範な安全性研究者や AI 開発者にとって AstaBench がよりアクセスしやすくなりました。また Arcadia Impact も AstaBench を活用しています。「AstaBench は AI 評価エコシステムにおける優れた追加要素です」と語るのは、Arcadia Impact の AI セーフティ責任者である Justin Olive です。「標準化と二次分析の必要性が切実に求められており、このイニシアチブはこれらの領域において重要な貢献を果たしました。英国 AISI の最先端である Inspect フレームワークに基づいてこの作業を構築したことは戦略的な先見性を示しており、Ai2 がオープンサイエンスおよび研究へのインパクトに対して持つ真摯なコミットメントを反映しています。」 **General Reasoning.** 強化学習（RL）のためのインフラストラクチャを構築する AI R&D 企業である [General Reasoning](https://gr.inc/) は、AstaBench のタスク（SUPER-Expert）を、大規模な RL エンバイロメントをホストするためのプラットフォーム「OpenReward」上の環境として実装しました。「AstaBench は、洗練されたエージェントのテストとトレーニングのための印象的な科学環境スイートを提供しており、私たちはこれを OpenReward プラットフォームに統合するよう努めてきました」と General Reasoning の共同創設者兼 CEO である Ross Taylor は述べています。**「この分野における Ai2 のオープンな研究に対して非常に感謝しています。」** ## 実際に試してみましょう AstaBench でご自身のエージェントをテストしたい場合は、必要なすべてが AstaBench リポジトリと agent-baselines リポジトリに含まれています。私たちは外部からの提出をリーダーボードに受け付けており、プロセスをより容易にするための取り組みを進めています。 私たちは、AI が実際の科学を行うことができるかどうかという問いには、誰でも検証し、その上で構築できるオープンで厳密な測定が必要だと考えています。新しい結果と、このスイートを取り巻く成長するコミュニティが、私たちのビジョンにさらに近づけてくれます。 [リーダーボード](https://allenai-asta-bench-leaderboard.hf.space/home) で実際に確認してください。 ## 最新の Ai2 ニュースに関する月次更新を受け取るには購読してください。

AstaBench の更新：新結果と業界での採用拡大

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト