GeneBench-Pro：AI エージェントの科学的判断能力を評価

科学的データは、指示付きで届くことはめったにありません。研究者は、パターンが生物学を反映しているのかノイズなのか、そのデータが問いかけられている質問を支えることができるのか、そして各結果が次に取るべき行動をどう変えるべきかを判断しなければなりません。AI エージェントは複雑な分析を実行する能力をますます高めていますが、実際の科学研究では、単に事実を思い出すことや事前に定義されたワークフローに従うことだけでなく、こうした高次レベルの判断を行うことも不可欠です。 本日、私たちは GeneBench-Pro を発表します。これは、モデルが現実世界の計算生物学が必要とするような判断重視型の分析を処理できるかをテストするための、難易度が高く研究レベルのベンチマークです。GeneBench(opens in a new window)（https://www.biorxiv.org/content/10.64898/2026.04.22.720113v1）を拡張し、ゲノム学、定量的生物学、転換医学にわたるより困難で現実的なタスクをカバーします。これにより、計算生物学における科学研究の複雑さ、反復的な性質、そして曖昧さを捉えています。 これまで、現実世界の計算研究を困難にするシステムレベルの判断に関する説得力のある評価はほとんどありませんでした。これには、曖昧さへの対応、仮定の修正、適切な分析経路の選択、結果が意思決定可能な状態にあるかどうかの判断などが含まれます。これらのスキルは形式化することが難しいため、それらの弱点が AI の全体的なパフォーマンスをますます制約するようになっているにもかかわらず、厳密に評価することも依然として困難です。 GeneBench-Pro は、これらの高次能力を精密に測定するために設計されています。GeneBench-Pro 内では、「研究の勘所（research taste）」とは、分析を形作る判断の連鎖として定義されます。具体的には、データが支持できる問いは何か、初期診断結果がどのようにモデルや推定対象を変更すべきか、そしていつ初期計画の見直しが必要となるかなどです。各 GeneBench-Pro の問題は、モデルに現実的で複雑なデータセット、簡潔な実験的文脈、および下流の意思決定に関連する目標とする推定対象を与えます。正しく回答するためには、モデルはデータを探索し、適切な分析アプローチを選択し、試行錯誤を繰り返すプロセスに参加し、最終的な答えを提供する必要があります。 ## データセット構築 生物学において、データ生成のコスト（例えばゲノムシーケンシング）は劇的に低下しており、[一部の研究者は今や](https://www.nature.com/articles/s41576-022-00551-z) 制限要因はもはやサンプル収集ではなく、下流の計算と分析であると主張しています。GeneBench-Pro は、このボトルネックへの対応における進捗を評価するために構築されたものであり、広範な計算生物学の設定と手法を網羅する 129 の質問を含んでいます。 ## ドメインアトラス：10 のドメインおよび 21 のサブドメインにわたる 129 の問題 上のドットをクリックすると、ベンチマーク問題の詳細がわかります。 このアトラスは、GeneBench-Pro の広範な範囲をプレビューするものです。より詳細に 10 の代表的な質問を探求するには、[ケーススタディページ](https://openai.com/index/genebench-pro/case-studies/) をご覧ください。 GeneBench-Pro は、一般的なベンチマークの失敗を回避するように設計されています。多くの長期ホライズンの生物学ベンチマークは、分析を通じて単一の正解パスが存在しない可能性のある、複雑な歴史的データセットを中心に多段階の質問を構築しています。あるエージェントが一つの正当化可能なカットオフ値を選択する一方で、別のエージェントは異なるが同様に正当化可能な選択肢を選ぶこともあり、これはモデル性能の本質的な違いよりも、ベンチマーク作成者の恣意的な選択を反映している可能性があります。逆の場合も起こり得ます：問題が数値的に不感度すぎる場合、エージェントは分析において根本的な誤りを犯しても、合格結果を生み出すことがあります。 これらの失敗モードを回避するため、各 GeneBench-Pro の問題は合成データとして構築されています。完全な因果構造を知っており、データ生成プロセスを直接シミュレーションします。これにより、各問題の複雑さを調整し、主観的な分析選択における合理的な違いが許容される数値結果を生み出すことを保証し、（アブレーション研究を通じて）妥当だが誤った分析が失敗することを検証できます。その後、情報漏洩や意図しない解決経路がないかを確認するために、詳細なトレース分析を通じて問題草案を監査します。これにより、正解を得るには正しい分析パスを選択する必要があること、ショートカットを利用したり恣意的な著者の好みに合致させたりすることではないという確信が得られます。 GeneBench-Pro の129問のうち82問を、大学院生、ポスドク研究者、産業界の科学者、教授などを含む外部の専門家に送付しました。審査員は各問題の現実性、目標回答が特定可能かどうか、そして手法と推定器が適切であるかを評価し、そのフィードバックを問題改善に活用しました。 ## 評価と採点 各 GeneBench-Pro の問題は独立した科学的分析として構成されています。エージェントには短いプロンプト、データファイル、および Python や科学計算ライブラリ、PLINK 2.0（ただし問題自体はドメイン固有のツールを必要としません）などの標準的なバイオインフォマティクススタックを含む隔離されたワークスペースへのアクセス権が付与されます。 データ生成プロセス全体を制御しているため、既知の目標に対して正答性を決定論的に評価でき、一般的なルールベースの評価で見られるモデル選択によるばらつきや冗長性の影響を回避できます。 各問題には、意図された分析構造、添付データファイル、詳細な多ページケーススタディ、そして専門家によるレビュー結果といった豊富なメタデータが付随しています。私たちは、GeneBench-Pro の代表的な 10 問を [Hugging Face(新しいウィンドウで開く)](https://huggingface.co/datasets/ajh-oai/genebench-pro-public-package) で完全にオープンソース化しており、それらを閲覧するための [インタラクティブな Web インターフェース](https://openai.com/index/genebench-pro/case-studies/) も用意しています。さらに、近い将来、50 問のサブセットを [Artificial Analysis(新しいウィンドウで開く)](https://artificialanalysis.ai/) に提供し、独立した第三者によるベンチマーク評価を実施する予定です。 ## 結果 当社の最強モデルである GPT‑5.6 Sol は、最高レベルの推論において 28.7% の合格率を達成しました（Pro モード有効時は 31.5%）。これは、オリジナルの GeneBench を構築し始めた当時の状況と比較すると劇的な向上です。当時、当社の最前線のモデルであった GPT‑5 は 5% 未満のスコアしか得られませんでした。このベンチマークにおける進歩は、より目に見えにくいシステムレベルの科学的推論においても、最前線のモデルが急速に改善されていることを示唆しています。現在のペースが続けば、今年末にはこのベンチマークが飽和状態になる可能性があります。 結果はまた、テスト時の計算リソースのスケーリングの影響も示しています。最低レベルの推論では、GPT‑5.6 Sol は単一桁の合格率しか達成できません。一方、最高レベルの推論では、GPT‑5.2 が解ける問題数の約 6 倍を GPT‑5.6 Sol が解決しており、かつ使用トークン数は約 3 分の 2 で済んでいます。 モデルファミリー間の比較から、GPT モデルは定量的不確実性下における高次科学推論において最も強力なシステムの其中之一であることが示唆されています。GPT‑5.6 と GPT‑5.5 のパフォーマンスと、GLM 5.2 などの主要なオープンソースモデルとの間のギャップは、[コーディングベンチマーク](https://deepswe.datacurve.ai/)（新しいウィンドウで開く）からの外挿から予想されるよりも著しく大きく、これはオープンソースモデルが広範な推論能力よりもコーディングに特化していることを示しています。 開発中は最前線の GPT モデルを用いて問題の評価と強化を行いました。そのため、GeneBench-Pro が他のモデルファミリーと比較して GPT モデルに対してバイアスを持っている可能性があると懸念していました。しかしながら、競合モデルはリリース当時の対応する GPT モデルのパフォーマンスにようやく追いつく程度であり、むしろ大幅に及ばない傾向が見られました。 これらの評価結果—GPT‑5.6 Sol (Pro) では最高 31.5% に達します—は、GeneBench-Pro の問題の難易度を考慮すると驚異的なものです。アンケート調査では、審査員たちは典型的な GeneBench-Pro の問題を人間が専門家として完了させるのに約 20〜40 時間かかると推定しました。保守的に 1 時間あたり 200 ドルと仮定すると、単一の問題にかかる人件費は数千ドルに上ります。現在の AI エージェントはまだ人間の専門家を完全に代替するには信頼性が不足していますが、コストの格差は大きく、問題あたりの推論コストはわずか数ドルです。つまり、現在の能力でも部分的な自動化が実現できれば、経済的および科学的な有意義な価値を生み出す可能性があります。 それでも、最先端モデルがいまだにこれらの問題の3分の1未満しか解決できていないという事実は、改善の余地が依然として大きいことを示しています。モデルは困難な問題に対して部分的な進歩を遂げることはできますが、推論ループを完結させることには苦戦します。この失敗のパターンは、人間の専門家と初心者の対比に似ています。専門家は経験を用いて問題を枠組み化し、アプローチを適応させますが、初心者は観察を行っても、それを問題のより広い文脈に統合することに苦労します。 ほぼ完璧な性能を達成するためには、進歩を確実に測定すると同時に、モデルがいまだにどこで失敗しているかを特定できる評価が必要です。GeneBench-Pro などのベンチマークは、漠然とした能力の欠如を、診断して改善可能な具体的な課題へと転換する手助けをすることができます。 もしエージェントがこの種の分析を確実に自動化できれば、科学的発見を大幅に加速させる可能性があります。ヒト遺伝学的証拠はすでに標的の優先順位付けや転換的な後続研究の中核をなしており、遺伝学的裏付けのあるメカニズムの方が承認された治療法へとつながる可能性がはるかに高いためです。 一方、シーケンシングのコストは急落し、バイオバンク規模のデータセットにより、分子情報、表現型情報、健康記録情報が前例のない広範囲でリンクされるようになりました。現在のボトルネックはデータの生成から、その情報を実行可能な洞察に変換することへと移っています。人間の専門家チームが現在行っている分析を一貫して実施できるモデルは、仮説の選別、標的の追跡、データ生成と意思決定の間での反復サイクルの加速を通じて、産業研究を変革する可能性があります。 GeneBench-Pro は、経験豊富な科学者が持つ優れた科学的判断に関わるより抽象的なスキルを評価するための初期の取り組みです。これらのスキルにより、彼らは最も有望な初期分析を直感的に特定し、データが当初の仮定と矛盾した際に思考を反復・修正し、その後の臨床的、学術的、あるいはビジネス上の意思決定の基礎となり得る結論に至ることができます。 モデルの能力が進化するにつれて、単なる教科書的な知識やルーチン分析の実行能力を検証するものを超え、これらのより高次の抽象レベルにおけるモデルの能力を探るベンチマークがますます有用になると予想されます。

GeneBench-Pro：AI エージェントの科学的判断能力を評価

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト