GeneBench-Pro の紹介

科学的データには、通常、指示書が付随していません。研究者は、パターンが生体現象を反映しているのかノイズなのか、そのデータが問いかけられている質問に答えるのに十分かどうか、そして各結果が次の行動をどのように変えるべきかを判断しなければなりません。AI エージェントは複雑な分析を実行する能力をますます高めていますが、実際の科学研究では、単に事実を思い出すことや事前に定義されたワークフローに従うことだけでなく、こうした高次レベルの判断を行うことも不可欠です。 本日、私たちは GeneBench-Pro を発表します。これは、モデルが現実世界の計算生物学が必要とするような、判断を要する分析を処理できるかをテストするための、難易度が高く研究レベルのベンチマークです。GeneBench(新しいウィンドウで開く)（https://www.biorxiv.org/content/10.64898/2026.04.22.720113v1）を拡張し、ゲノミクス、定量的生物学、転換医学にわたるより困難で現実的なタスクをカバーします。これにより、計算生物学における科学研究の複雑さ、反復的な性質、そして曖昧さが捉えられています。 これまで、現実世界の計算研究を困難にするシステムレベルの判断に関する説得力のある評価はほとんどありませんでした。これには、曖昧さへの対応、仮定の修正、適切な分析経路の選択、結果が意思決定可能な状態にあるかどうかの判断などが含まれます。これらのスキルは形式化することが難しいため、それらの弱点が AI の全体的なパフォーマンスをますます制約するようになっているにもかかわらず、厳密に評価することも困難です。 GeneBench-Pro は、これらの高次能力を精密に測定するために設計されています。GeneBench-Pro 内では、「研究の勘所（research taste）」とは、分析を形作る一連の判断の連鎖として定義されます。具体的には、データが支持できる問いは何か、初期診断結果がどのようにモデルや推定対象を変更すべきか、そしていつ初期計画の見直しが必要となるかなどです。各 GeneBench-Pro の問題は、モデルに現実的で複雑なデータセット、簡潔な実験的文脈、および下流の意思決定に関連する特定の推定対象を与えます。正しく回答するためには、モデルはデータを探索し、適切な分析アプローチを選択し、試行錯誤を繰り返すプロセスに参加し、最終的な答えを提供する必要があります。 ## データセット構築 生物学において、データ生成のコスト（例えばゲノムシーケンシング）は劇的に低下しており、[一部の研究者は今や](https://www.nature.com/articles/s41576-022-00551-z) 制限要因はもはやサンプル収集ではなく、下流の計算と分析であると主張しています。GeneBench-Pro は、このボトルネックへの対応における進捗を評価するために構築されたものであり、計算生物学の設定や手法の幅広い範囲にわたる 129 の質問を網羅しています。 ## ドメインアトラス：10 のドメインと 21 のサブドメインにまたがる 129 の問題 上のドットをクリックすると、ベンチマーク問題の詳細がわかります。 このアトラスは、GeneBench-Pro の広範な範囲をプレビューするものです。より詳細に 10 の代表的な質問を探求するには、[ケーススタディページ](https://openai.com/index/genebench-pro/case-studies/) をご覧ください。 GeneBench-Pro はまた、一般的なベンチマークの失敗を回避するように設計されています。多くの長期ホライズンの生物学ベンチマークは、分析を通じて単一の正しい経路が存在しない可能性のある、ごちゃごちゃした歴史的データを中心に多段階の質問を構築しています。あるエージェントが一つの正当なカットオフを選択する一方で、別のエージェントは異なるが同様に正当な選択肢を選ぶこともあり、これはモデル性能の本質的な違いよりも、ベンチマーク作成者が行った恣意的な選択を反映している可能性があります。逆の現象も起こり得ます：問題が数値的に不感度すぎる場合、エージェントは分析において根本的な誤りを犯しても、合格する結果を生み出すことがあります。 これらの失敗モードを回避するため、各 GeneBench-Pro の問題は合成データとして構築されています。我々は完全な因果構造を知っており、データ生成プロセスを直接シミュレーションします。これにより、各問題の複雑さを調整し、主観的な分析選択における合理的な違いが依然として受け入れられる数値結果を生み出すことを保証し、（アブレーション研究を通じて）妥当だが誤った分析が失敗することを検証できます。その後、情報漏洩や意図しない解決経路がないかを確認するために、詳細なトレース分析を通じて問題の草案を監査します。これにより、正解を得るには正しい分析経路を選択することが必要であり、ショートカットを利用したり、恣意的な著者の好みに合致させたりするものではないという確信が得られます。 GeneBench-Pro の質問 129 問のうち 82 問を、大学院生、ポスドク研究者、産業科学者、教授などを含む外部の専門家に送付しました。審査員は各問題の現実性、目標回答が特定可能かどうか、そして手法と推定器が適切であるかを評価し、フィードバックは問題の改善に活用されました。 ## 評価と採点 各 GeneBench-Pro の問題は、独立した科学的分析として構成されています。エージェントには、短いプロンプト、データファイル、および Python や科学計算ライブラリ、PLINK 2.0（ただし問題にはドメイン固有のツールは不要）などの標準的なバイオインフォマティクススタックを含む隔離されたワークスペースへのアクセス権が付与されます。 データ生成プロセスを完全に制御しているため、既知の目標に対して正答性を決定論的に評価でき、一般的なルールベースの評価で見られるモデル選択の変動や冗長性の影響を回避できます。 各問題には、意図された分析構造、添付データファイル、詳細な多ページケーススタディ、そして専門家によるレビュー結果といった豊富なメタデータが付随しています。私たちは、GeneBench-Pro の代表的な 10 問を [Hugging Face(新しいウィンドウで開く)](https://huggingface.co/datasets/ajh-oai/genebench-pro-public-package) で完全にオープンソース化しており、それらを閲覧するための [インタラクティブな Web インターフェース](https://openai.com/index/genebench-pro/case-studies/) も用意しています。さらに、近い将来、50 問のサブセットを [Artificial Analysis(新しいウィンドウで開く)](https://artificialanalysis.ai/) に提供し、独立した第三者によるベンチマークを実施する予定です。 ## 結果 当社の最強モデルである GPT‑5.6 Sol は、最高レベルの推論（reasoning）において 28.7% の合格率を達成しました（Pro モード有効時は 31.5%）。これは、オリジナルの GeneBench を構築し始めた当時の状況と比較すると劇的な向上です。当時、当社の最前線のモデルであった GPT‑5 は 5% 未満のスコアしか得られませんでした。このベンチマークにおける進歩は、より目に見えにくいシステムレベルの科学的推論においても、最先端モデルが急速に改善されていることを示唆しています。現在のペースが続けば、今年末にはこのベンチマークが飽和状態になる可能性があります。 結果はまた、テスト時の計算リソース（test-time compute）のスケーリングの影響も示しています。最も低い推論レベルでは、GPT‑5.6 Sol は単一桁の合格率しか達成していません。一方、最高レベルの推論においては、GPT‑5.2 が解ける問題数の約 6 倍を GPT‑5.6 Sol が解決しており、かつ使用トークン数は約 3 分の 2 で済んでいます。 モデルファミリー間の比較から、GPT モデルは定量的不確実性下での高次科学推論において最も強力なシステムの 1 つであることが示唆されています。GPT‑5.6 と GPT‑5.5 のパフォーマンスと、GLM 5.2 などの主要なオープンソースモデルとの間の性能差は、[コーディングベンチマーク](https://deepswe.datacurve.ai/)（外部リンク）からの外挿から予想されるよりも著しく大きく、これはオープンソースモデルが広範な推論能力よりもコーディングに特化していることを示しています。 開発中は最前線の GPT モデルを用いて問題の評価と強化を行いました。そのため、GeneBench-Pro が他のモデルファミリーと比較して GPT モデルに対してバイアスがかかっている可能性があると懸念していました。しかしながら、競合モデルはせいぜいリリース当時の対応する GPT モデルのパフォーマンスに匹敵する程度であり、むしろ大幅に劣る傾向が見られました。 これらの評価結果—GPT‑5.6 Sol (Pro) では最高 31.5% に達します—は、GeneBench-Pro の問題の難易度を考慮すると驚くべきものです。アンケート調査では、レビュー担当者が典型的な GeneBench-Pro の問題を人間が専門家として完了させるのに約 20〜40 時間かかると推定しました。保守的な時給 200 ドルを仮定すると、1 つの問題あたりの人件費は数千ドルに達します。現在の AI エージェントはまだ人間の専門家を完全に代替するには信頼性が不足していますが、コスト格差は大きく、1 つの問題あたりの推論コストは数ドル程度です。つまり、現在の能力でも部分的な自動化が行われれば、経済的・科学的に意味のある価値を生み出す可能性があります。 それでも、最先端モデルがいまだにこれらの問題の3分の1未満しか解決できないという事実は、改善の余地が依然として大きいことを示しています。モデルは困難な問題に対して部分的な進歩を遂げることはできますが、推論ループを完結させることには苦戦します。この失敗のパターンは、人間の専門家と初心者の対比に似ています。専門家は経験を用いて問題を枠組み化し、アプローチを適応させますが、初心者は観察を行っても、それを問題のより広い文脈に統合することに苦労します。 ほぼ完璧な性能を達成するには、進歩を確実に測定するとともに、モデルがいまだにどこで失敗しているかを特定できる評価が必要です。GeneBench-Pro などのベンチマークは、漠然とした能力の欠如を、診断して改善可能な具体的な課題へと転換する手助けをすることができます。 もしエージェントがこの種の分析を確実に自動化できれば、科学発見を大幅に加速させる可能性があります。ヒト遺伝学的エビデンスはすでに標的の優先順位付けや翻訳後の追跡において中心的な役割を果たしており、遺伝学的裏付けのあるメカニズムの方が承認された治療法につながる可能性がはるかに高いためです。 一方、シーケンシングのコストは急落し、バイオバンク規模のデータセットでは、分子情報、表現型情報、健康記録情報を前例のない広範囲で結びつけることが可能になっています。現在のボトルネックはデータの生成から、その情報を実行可能な洞察に変換することへと移り変わっています。人間の専門家チームが現在行っている分析を一貫して実施できるモデルは、仮説の選別、標的の追跡、データ生成と意思決定の間での反復サイクルの加速を通じて、産業研究を変革する可能性があります。 GeneBench-Pro は、経験豊富な科学者が持つ優れた科学的判断に関わるより抽象的なスキルを評価するための初期の取り組みです。これらのスキルにより、彼らは最も有望な初期分析を直感的に特定し、データが当初の仮定と矛盾した際に思考を反復・修正し、その後の臨床的、学術的、あるいはビジネス上の意思決定の基盤となる結論に至ることができます。 モデルの能力が進化するにつれて、単なる教科書的な知識やルーチン分析の実行能力を検証するものを超え、これらのより高次の抽象レベルにおけるモデルの能力を探るベンチマークが、ますます有用になると予想されます。

GeneBench-Pro の紹介

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト