AI 評価が新たな計算リソースのボトルネックに

[Back to Articles](https://huggingface.co/blog) **要約。** AI 評価は、誰がそれを行えるかを決定するコストの閾値を超えました。Holistic Agent Leaderboard (HAL) は最近、9 つのモデルと 9 つのベンチマークにわたる 21,730 のエージェントロールアウトを実行するために約 40,000 ドルを費やしました。先端的なモデルにおける単一の GAIA 実行は、キャッシュ適用前に 2,829 ドルのコストがかかります。[Exgentic](https://www.exgentic.ai/) がエージェント設定全体で実施した 22,000 ドルのスウィープでは、同一タスクにおいて 33 倍のコスト差が確認され、スケフォールドの選択が主要なコストドライバーであることが特定されました。また、[UK-AISI](https://www.aisi.gov.uk/blog/evidence-for-inference-scaling-in-ai-cyber-tasks-increased-evaluation-budgets-reveal-higher-success-rates) は最近、推論時の計算リソースを研究するためにエージェントステップ数を数百万にまで拡大しました。科学分野の機械学習（ML）では、新しいアーキテクチャ 1 つの評価に約 960 H100-時間、4 つのベースライン全体のスウィープには 3,840 H100-時間が必要です。圧縮技術は静的ベンチマークに対して提案されていますが、新しいエージェントベンチマークはノイズが多く、スケフォールドに敏感であり、部分的にしか圧縮できません。トレーニングループ内（in-the-loop）のベンチマークは構造的に高コストであり、これらの評価に信頼性を追加しようとすると、反復実行によってコストがさらに倍増します。 ## 静的 LLM ベンチマークをより安価にする方法 エージェントが登場する以前から、コストの問題は存在していました。スタンフォード大学の CRFM が 2022 年に [HELM](https://arxiv.org/abs/2211.09110) を公開した際、論文内のモデルごとの内訳では、OpenAI の code-cushman-001 で API コストが 85 ドル、AI21 の J1-Jumbo（178B）で 10,926 ドルに達し、オープンソースモデルでは GPU 使用時間が 540 から 4,200 時間と幅広かったものの、BLOOM（176B）や OPT（175B）がその上限を占めていました。[Perlitz et al. (2023)](https://arxiv.org/abs/2308.11696v5) はより大きな HELM のコストパターンを再確認しており、[IBM Research](https://research.ibm.com/blog/efficient-llm-benchmarking) は「Granite-13B を HELM に通すだけで、最大で 1,000 GPU 時間を消費する可能性がある」と指摘しています。HELM の 30 モデルと 42 シナリオ全体を通じた報告されたコストと GPU 計算資源の合計は、およそ 10 万ドルに達しました。 もう一つの驚くべき観察結果は、[Perlitz 他による分析](https://arxiv.org/abs/2308.11696v5)から得られました。この分析では [EleutherAI の Pythia](https://arxiv.org/abs/2304.01373) のチェックポイントが対象となっています。開発者はモデル開発の過程で評価を繰り返し実行するために費用を負担しています。Pythia は 8 つのサイズにわたる 16 のモデルそれぞれに対して 154 のチェックポイントをリリースしており、各モデルのチェックポイントを個別に数えれば合計 2,464 個となります。これによりコミュニティはトレーニングダイナミクスを研究することが可能になりました。LM Evaluation Harness（言語モデル評価ハッチ）をこれらのすべてのチェックポイントで実行すると、評価がトレーニングに対する乗数として機能します。[Perlitz 他 (2024)](https://arxiv.org/abs/2308.11696v5) は、「チェックポイントを評価する際の費用は、事前学習の費用さえも上回る可能性がある」と指摘しています。小規模モデルにおいては、評価が開発サイクル全体を通じて主要な計算リソースの項目となります。推論時の計算リソースをスケールさせると、評価コストも同様にスケールします。 Perlitz 他は次に、HELM（ヘルム）のランキングに実際にどの程度の計算量が寄与しているのかを問いました。その結果は際立っていました：計算量を 100 倍から 200 倍削減しても、ほぼ同じ順序が維持され、さらに大きな削減でも論文で提案された階層分析の下では粗いグループ化には有用であることが示されました。Flash-HELM はこの知見を「粗から細へ」の手順に変換しました：まず安価な評価を実行し、その後、高解像度の計算リソースは上位候補のみに費やすのです。HELM の計算量の多くは、すでに分野全体がより安価に推測できたランキングを確認するものでした。 他の研究も異なる角度から同じ結論に達しています。[tinyBenchmarks](https://arxiv.org/abs/2402.14992) は項目反応理論（Item Response Theory）を用いて、MMLU を約 2% の誤差で 14,000 項目から 100 のアンカー項目に圧縮しました。Open LLM Leaderboard も 29,000 例から 180 例へと縮小されました。[Anchor Points](https://arxiv.org/abs/2309.08638) は、GLUE においてわずか 1 から 30 の例で 87 の言語モデルとプロンプトのペアを順位付けできることを示し、[他の研究](https://arxiv.org/abs/2511.04689) もこれに追随してデータセットサイズを 90% 削減しました。静的ベンチマークには悪用可能な弱点がありました：モデル間の違いはしばしば限られた項目のサブセットに集中するため、厳格なサンプリングを行っても順位付けは維持できるのです。 しかし、ベンチマークが静的予測からエージェントへと移行すると、このトリックは劇的に弱体化しました。 ## エージェント評価はより複雑になる エージェント評価に関する非常に優れた公開報告として、[Holistic Agent Leaderboard](https://arxiv.org/abs/2510.11977)（Kapoor 他、ICLR 2026）が挙げられます。HAL はコーディング、ウェブナビゲーション、科学タスク、カスタマーサービスをカバーする 9 つのベンチマークにわたって標準化されたエージェントハネスを実行し、共通の足場と集中型のコスト追跡を採用しています。主要なコストは、9 つのモデルと 9 つのベンチマークにわたる 21,730 回のロールアウトで 40,000 ドルです。2026 年 4 月までに、このリーダーボードは 26,597 回のロールアウトへと成長しました。[Ndzomga の独立した再現研究](https://arxiv.org/abs/2603.23749) も同様に、242 回の実行でほぼ同じ金額である 46,000 ドルに到達しています。 その集計値の背後には、HAL タスク間では単一のベンチマーク実行コストが 4 桁もの範囲で変動し、個々のベンチマーク内でも 3 桁の変動があるという事実があります。 **Figure 1.** 各棒グラフは、単一のベンチマークにおける HAL 設定間の最小から最大のコストを示しています。強調表示された棒グラフは、1 回あたり約 1,000 ドルの閾値を超えています。「実行」とは、すべてのタスクにわたる完全なエージェント評価を指します。ベンチマーク内でのばらつきは、モデル×スキャフォールド×トークン予算の積によって生じます。出典：2026 年 4 月のライブ HAL リーダーボード。 これらの数値の背後には、率直な価格設定の事実があります。Claude Opus 4.1 は、入力トークン 100 万あたり 15 ドル、出力トークン 100 万あたり 75 ドルを請求します。一方、Gemini 2.0 Flash はそれぞれ 0.10 ドルと 0.40 ドルで、入力のみでも 2 桁の価格差があります。エージェントベンチマークは通常、「モデル」だけを単独で評価するわけではありません。それらは「モデル×スキャフォールド×トークン予算」という製品の組み合わせを評価するものであり、スキャフォールド（基盤構造）のわずかな選択の違いが、コストを 10 倍に増幅させることもあります。 さらに悪いことに、支出を増やしても必ずしも良い結果が得られるわけではありません。[Online Mind2Web](https://hal.cs.princeton.edu/online_mind2web) において、Claude Sonnet 4 を使用した Browser-Use は精度 40% でコストが 1,577 ドルでした。一方、GPT-5 Medium を使用した SeeAct は 42% の精度を達成し、コストはわずか 171 ドルです。HAL の論文では「精度の差がたった 2 ポイントであるにもかかわらず、コストには 9 倍の開きがある」と指摘されています。[GAIA](https://hal.cs.princeton.edu/gaia) では、o3 Medium を使用した HAL Generalist が精度 28.5% でコスト 2,828 ドルでしたが、別のエージェントは 57.6% の精度を達成し、コストは 1,686 ドルでした。[CLEAR](https://arxiv.org/abs/2511.14136) は、300 のエンタープライズタスクにおける 6 つの最先端（SOTA）エージェントを対象に調査した結果、「精度を最適化する構成は、実世界でのパフォーマンスが同等であるにもかかわらず、パレート効率的な代替案よりも 4.4 倍から 10.8 倍のコストがかかる」と結論付けています。 静的な時代のツールキットは役立ったはずですが、その効果には限界がありました。Ndzomga の中程度の難易度フィルタ（過去の実行成功率が 30% から 70% のタスクを選択するもの）は、スキャフォールドや時間的変化の下でランクの忠実度を維持しつつ、2 倍から 3.5 倍のコスト削減を実現しています。これは有用ですが、静的ベンチマークで得られる 100 倍から 200 倍の改善には遠く及びません。各項目が独自のばらつきを持つマルチターンロールアウトである場合、単一の質問に対する避けられない長い軌道そのものが、高価な対象物となります。 ## 一部の評価は訓練に過ぎない 一部のベンチマークは、その評価プロトコルがモデルをゼロから訓練するため、API コストの枠組みからは完全に外れています。 [The Well](https://arxiv.org/abs/2412.00568) は、この現象の非常に興味深い例を示しています。これは、生物系、流体力学、磁気流体力学、超新星爆発、粘弾性不安定、アクティブマターにわたる 16 の科学機械学習データセットをバンドルしたもので、合計 15 TB に達します。論文のヘッドラインにある「16 データセット・グリッド」プロトコルに従うと、節約する余地はほとんど残されません：各ベースラインモデルを単一の H100 で 12 時間訓練し、(モデル，データセット) ペアごとに 5 つの学習率を試行し、4 つのアーキテクチャと 16 のデータセット全体でこれを繰り返します。このヘッドライン・グリッドによる探索には 3,840 H100 時間が消費され、以下の換算仮定に基づけば約 9,600 ドルに相当します。新しいアーキテクチャを 1 つ追加するだけでも、約 960 H100 時間、つまり約 2,400 ドルのコストがかかります。 ニューラル演算子（neural operator）の訓練には単一の 12 時間の H100 実行で十分ですが、ベンチマーク全体での評価にはその 80 倍に相当する 80 回の訓練が必要です。この非対称性が、The Well の重要性を決定づける要因です。機械学習（ML）のこの分野では、評価に必要な計算資源は訓練に必要な計算資源よりもおおよそ 2 桁多く、従来の深層学習における常識的なモデルが逆転しています。 同じパターンは SciML 全体にわたって繰り返されています。[PDEBench](https://arxiv.org/abs/2210.07182) は 11 の偏微分方程式（PDE）ファミリーを網羅し、データセットやモデルファミリーごとのエポックあたりのタイミングテーブルを報告していますが、アーキテクチャごとの明確なコスト金額は、選択されたトレーニングプロトコルとハードウェアに依存します。[MLE-Bench](https://arxiv.org/abs/2410.07095)（OpenAI）はエージェントとトレーニングの両方の領域の間に位置しています。各エージェントが 75 の Kaggle コンペティションのいずれかに挑戦する際、単一の A10 GPU で 24 時間かけて実際の ML パイプラインをトレーニングします。論文では明確に「主要な実験設定の単一ラン（各コンペティション試行あたり 24 時間）には、24 時間 × 75 コンペティション = 1,800 GPU 時間の計算リソースが必要である」と記されており、さらに o1-preview はシードあたり 1.275 億トークンの入力と 1,500 万トークンの出力を消費します。A10 の時間単価が 1.50 ドルの場合、GPU 費用だけでも 2,700 ドルとなり、o1-preview の API 使用料を加えると、シード 1 つあたりのランコストは約 5,500 ドルに達します。したがって、3 つのシード × 6 つのモデルであれば、追加の評価や再試行にかかるオーバーヘッドを考慮する前に、総額約 100,000 ドルになります。 [METR's RE-Bench](https://metr.org/AI_R_D_Evaluation_Report.pdf) では、7 つの研究工学環境それぞれについて、1 から 6 台の H100 GPU を使用して最大 8 時間に制限されています。したがって、一連のテストを単に通過するだけでも、繰り返し試行や複数のシード、あるいは複数のエージェントを追加する前に、56 から 336 の H100 時間が必要となります。一方、71 回の専門家による試行を行う人間ベースラインでは、暗黙的な予算はさらに大幅に引き上げられます。ベンチマークがエージェントと人間に対して同じ壁時計時間の計算リソースを提供するため、リアルタイムのトレーニングプロセスがコストの下限を決定します。トークン予算はもはや上限を規定するものではなくなります。 [ResearchGym](https://arxiv.org/abs/2602.15112) (ICLR 2026) では、エージェントが実際の機械学習（ML）研究を実行します。ACL、ICLR、ICML の論文から抽出された 5 つのテストタスク（39 のサブタスク）が含まれており、これには ACL Highlights、ICML Spotlight、ICLR Spotlight、および ICLR Oral カテゴリが含まれます。提案手法は隠蔽されています。エージェントは仮説を立案し、モデルを訓練し、元の著者のベースラインを上回る必要があります。予算は厳しく、各タスクあたり API 利用料で 10 ドル、24 GB 未満の単一 GPU で 12〜24 時間です。フルパス（5 タスク × 24 時間 × 3 シード）では、エージェントあたり約 360 GPU 時間を消費します。 [PaperBench](https://arxiv.org/abs/2504.01848) ではコスト状況が過酷になります。ICML 2024 の Spotlight または Oral 論文 20 編をゼロから再現し、8,316 のリーフノール基準を持つ評価ルブリックツリーに対して採点します。各ロールアウトでは A10 GPU を 12 時間使用し、論文ごとの計算は単純明快です。 - o1 IterativeAgent ロールアウトあたり API 利用料が 400 ドルで、20 編の論文を掛け合わせると、評価あたりの総額は約 8,000 ドルになります。 - o3-mini ジャッジによる採点は論文あたり 66 ドル、ベンチマーク全体では 1,320 ドルです。 - o1 をジャッジとして使用すると、採点コストは論文あたり約 830 ドルに跳ね上がります。 PaperBench Code-Dev は意図的に実行を省略しています。この選択により、ロールアウトコストは約 4,000 ドルに半減し、採点コストは論文あたり 10 ドル（85% 削減）になります。OpenAI は多くのグループがフルベンチマークを負担できないため、このバリアントを構築しました。 歴史的な先例としては [NAS-Bench-101](https://arxiv.org/abs/1902.09635) があり、その表形式の構築には 100 TPU 年以上にわたるトレーニングが必要でした。この一度きりの投資がなければ、すべての NAS アルゴリズム比較は実行あたり 1 から 100+ GPU 時間のコストがかかり、比較自体がアルゴリズムよりも高価になっていただろう。 **Figure 2.** 単一のモデルまたはエージェントを完全なベンチマークプロトコルを通じて評価する際のすべての値（米ドル）。GPU コストは H100 で時間あたり 2.50 ドル、A10 で時間あたり 1.50 ドルで換算。API および採点コストも該当する場合に含める。強調されたバーは、評価あたりのラウンド 5,000 ドルの閾値以上がかかるベンチマークを示す。これらのうち最も高価なものは、最も高価なエージェント ベンチマーク（Figure 1）と一致し、API で代替できない GPU 計算リソースを必要とする。 ベンチマークが実際の業務に近づくにつれ、圧縮はより困難になる：静的予測では大幅な節約の余地があるが、エージェントによるロールアウトではその余地が減り、ループ内トレーニングではほとんど残らない。 **Figure 3.** 評価を圧縮するためのツールキットは、ベンチマークが複雑化するにつれて引き継がれない。バーはモデルランクの忠実度を維持する最大測定圧縮率を示し、ラベルには公開された範囲が記載されている。強調されたバーは、一般的な圧縮手法が存在しない約 1× のベースラインを示す。静的ベンチマークでは通常、ランキングを失うことなく 100〜200 倍の圧縮が可能である。一方、エージェント ベンチマークでは最大でも 2〜3.5 倍の圧縮しか達成できない。ループ内トレーニング ベンチマークは評価対象が訓練済みモデルそのものであるため、サブサンプリングに抵抗する。 ## Reliability is the expensive part 信頼性は高コストな部分です。上記の費用の多くは、統計的パワーが限られた単一実行の測定結果を購入するだけです。反復実行にわたる信頼性を測定すると、静的ベンチマーク、エージェントベンチマーク、トレーニング・イン・ループ（学習プロセス内）ベンチマークのすべてがより高価になります。 エージェントの信頼性は、1 回の実行を証拠として扱うのをやめると急激に低下する可能性があります。最もよく知られた例は、Yao らによるτ-benchで、後にCLEAR（Mehta, 2025）で再構成されました：パフォーマンスは単一実行では60%ですが、8回の実行における一貫性を求めると25%まで低下します。[Kapoor らの「AI Agents That Matter」](https://arxiv.org/abs/2407.01502) は、HumanEval において単純なベースライン・エージェントが複雑な SOTA（State-of-the-Art：最先端）エージェント（Reflexion, LDB, LATS）をパレート支配し、コストは50分の1であることを発見しました。彼らのホールドアウト分析では、17 のベンチマークのうち 7 つにホールドアウトセットが存在しないことが判明しました。残りの 10 個のうちでも、適切な一般化レベルでタスクをホールドアウトしていたのはわずか 5 つのみでした。したがって、17 個中 12 個が最終的にホールドアウト基準を満たしませんでした。HAL論文は、「何もしない」エージェントが元の構成においてτ-benchの航空会社タスクの38%に合格すると指摘しています。HAL自身のログ分析では、TAU-benchのFew Shot（少サンプル）スキャフォールドにデータリークが存在することが明らかになり、2025 年 12 月にその除去を余儀なくされました。 最近の信頼性に関する会計報告の一つは、[Rabanser, Kapoor らによる「AI エージェントの信頼性の科学へ向けて」](https://arxiv.org/abs/2602.16666) からのものです。この論文では、一貫性、堅牢性、予測可能性、安全性にわたる 12 の指標を提案しています。その発見は「最近の能力向上は、信頼性においてわずかな改善しかもたらしていない」というものです。HAL の内部分析は、集計された精度の背後に隠れた脆さを示しています。SciCode および CORE-Bench では、エージェントがツール呼び出しの失敗なしに実行を完了することはほとんどありませんでした。AssistantBench および CORE-Bench では、環境エラーが約 40% の実行で発生しました。失敗したタスクにおいて、エージェントは最終回答で明示的なベンチマーク指示を違反する割合が 60% を超えました。 k = 8 の再試行を各セルで行う統計的に信頼できる HAL スタイルの評価では、$40K の集計コストは約 $320K に跳ね上がります。PaperBench の 1 回あたり $9,500 というコストに同じ乗数を適用すると、単一エージェントの評価費用は $75K を超え、The Well ではマルチシードプロトコルにより、アーキテクチャあたりのコストが約 960 H100 時間から数千時間に膨れ上がります。信頼性は上記のすべてのコストカテゴリに対して乗数として作用します。 HAL は新しいモデル評価を一時停止し、信頼性向上に注力しています。この分野の見出しとなる数値にはまだノイズが多すぎるためです。また、そのノイズを低減するには実費がかかります。そして上記の数値は下限値であり、多くの評価者はすでに価格面で排除され始めています。 ## これが ML 分野にとって何を意味するか ## 評価コストが責任の壁となっている 学術団体、AI セーフティ研究所、そしてジャーナリストたちは、最先端エージェントを独立して評価する際、技術的な制約に直面する前に予算の制約にぶつかるようになっています。GAIA の単一のランは、大学院生の年間旅行予算を超えてしまうこともあります。LLM 判定を含む PaperBench の単一評価では約 9,500 ドルがかかります。6 つのモデルを 3 シードで比較する研究（これは論文として発表されるようなもの）では、150,000 ドルを超えることになります。「ベンチマークを一度実行して精度の数値を報告する」という確立された慣行は、完璧な気象条件下で車をただ一台クラッシュテストする程度の厳密さに過ぎません。これを超えていくには、学術システムが現在研究用計算資源として割り当てていない資金が必要です。 ## 計算リソースの格差に評価も加わった今 [Ahmed, Wahed and Thompson (Science 2023)](https://www.science.org/doi/10.1126/science.ade2420) は、2021 年の業界モデルがパラメータ数において学術モデルの 29 倍大きかったこと、そして 2020 年に AI の博士号取得者の約 70% が業界へ進出した一方、2004 年は 21% に過ぎなかったことを記録しています。当初の「計算リソース格差」の話は、評価がトレーニングに比べて安価に見えたため、主にこれを無視していました。しかし多くのベンチマークがこの関係性を逆転させました。7B モデルをファインチューニングできるラボでも、業界が真剣に扱うベンチマークを実行する費用を負担できるとはもはや考えられません。 ## コスト意識のないリーダーボードが浪費を助長する リーダーボードが生データとしての精度のみを報告し、コストを省略した場合、研究者は合理的に問題解決のためにトークンを投入し続け、数値が上昇するまで続けることになります。HAL 論文では、推論努力を増大させることがむしろ多数の試行において精度を低下させるという結果が示されています：追加的な推論計算リソースは、最適化すべき指標でさえも信頼性を持って改善しないのです。パレートフロンティアは、コストに対する精度の順位付けによって比較を可能にします。HAL はこれを実装していますが、ほとんどのリーダーボードはまだ実装していません。 もし最高コストのアジェンシー型および科学系ベンチマークにおいて統計的に信頼できるベンチマーク数値を生み出せる計算リソースがフロンティア・ラボの予算のみで限られているなら、AI システムの評価という社会的プロセスは、それらシステムを構築する同じラボ内部に集中することになり、外部検証は部分的なものとなり、あるいは誰かがコストを直接補助しない限り完全に欠如した状態になります。 ## ベンチマーク種別ごとのコストサマリー ベンチマーク種別 | 単一評価あたりの費用（USD） | 「1 回の評価」の意味 HELM (LLM ごと、2022) | Static LLM | $85 – $10,926 (API); 540 – 4,200 GPU-hrs (オープン) 1 つの LLM を 42 のシナリオに適用; HELM §6 p. 43 にモデル別テーブルあり ScienceAgentBench | Agentic, science | $0.19 – $77 1 つのエージェント設定を 102 のタスクで実行 TAU-bench Airline | Agentic | $0.31 – $180 1 つのエージェントを全航空会社タスクで実行 SciCode | Agentic, science | $0.12 – $625 1 つのエージェントを 338 のサブ問題で実行 CORE-Bench Hard | Agentic, replication | $2 – $510 1 つのエージェントを 45 の論文で実行 SWE-bench Verified Mini | Agentic, coding | $4 – $1,600 1 つのエージェントを 50 の課題で実行 Online Mind2Web | Agentic, web | $5 – $1,610 1 つのエージェントを 300 のウェブタスクで実行 GAIA (エージェント型・多モーダル): $7.80 – $2,829。GAIA タスク全体を 1 つのエージェントが担当 ResearchGym（フルパス）: ML 研究、トレーニング。$540 – $1,260。5 タスク × 24 時間 × 3 シード（約 360 GPU-時間）+ API RE-Bench（シングルパス）: ML R&D、トレーニング。$140 – $840。7 エンバイロンメント × 8 時間 × 1–6 H100 The Well（アーキテクチャごと）: SciML、トレーニング。約 $2,400。ヘッドラインの 16 データセットグリッド：5 つの学習率 × 16 データセット × 12 時間の H100 MLE-Bench（1 シード）: ML R&D、トレーニング。約 $5,500。75 の Kaggle コンペティション × A10 で 24 時間 + o1-preview API PaperBench Code-Dev: 科学分野、コードのみ。約 $4,200。20 篇の論文全体を 1 つのエージェントが担当（実行なし） The Well（フルスイープ）: SciML、トレーニング。約 $9,600。ヘッドラインの 16 データセットグリッドの下で 4 つのアーキテクチャ PaperBench（フル）: 科学分野。約 $9,500。20 篇の論文全体を 1 つのエージェントが担当、完全なプロトコル HAL アグリゲート：9 ベンチマーク × 9 モデル。約 $40,000。すべての 81 セル（各セル 1 シード） すべての数値は単一評価あたりの米ドルに正規化されています。GPU コンピューティングは H100 で時間あたり$2.50、A10 で時間あたり$1.50 で換算され、該当する場合は API および採点コストが含まれています。Pythia（「評価が事前トレーニングを超える場合あり」）、PDEBench（アーキテクチャごとのコストは選択されたトレーニングプロトコルおよびハードウェアに依存）、NAS-Bench-101 の 100 TPU-年の構築コストは、それぞれを単一評価あたりの米ドル数値にきれいに正規化できないため除外されています。 ## 同じ評価に対して二度払いしないようにしよう これらの数値が高止まりしている理由の一つは、分野全体が同じ評価を繰り返し実行し続けていることです。フロンティア研究所は HAL スイープのために支払いを行い、学術グループはその一部再現のために再度支払いを行い、監査組織は関心のあるモデルバージョンのために三度支払いを行い、ジャーナリストはリーダーボードのスポットチェックのために四度支払います。これらの実行のほとんどが、重複するモデルを重複するベンチマーク上でカバーしています。しかし、基礎となるインスタンスレベルの出力のほとんどは、次のチームがそれらに基づいて構築できる場所に最終的に届きません。なぜなら、結果は PDF 内の単一の精度数値として、またはスキャフォールド（足場）、プロンプト、シードを隠すモデルカードテーブルやリーダーボードエントリとして報告されるからです。上記のコスト見積もりが大きいのは、分野全体がコミュニティの他のメンバーが再利用できないアーティファクトに対して毎回小売価格で支払っている部分があるためです。 標準化されたドキュメンテーションは、ここで利用可能な最も安価なレバーであり、かつ信頼性研究において不可欠な作業でもあります。もし 9,500 ドルの PaperBench ロールアウトが共有スキーマ内で完全な採点トレースをエクスポートすれば、同じ論文を研究する次のグループは予算をベースラインの繰り返しではなく、新しい摂動（擾乱）に充てることができます。もしマルチシード HAL 実行が経路ごとのツール呼び出しログを公開すれば、エージェントの信頼性研究は単一の精度数値では回答できない質問に応えることができるでしょう。この節約効果は複利のように積み上がります：高コストベンチマークにおいて再利用率が 2 倍になるだけでも、あらゆる圧縮技術を合計した金額よりも多くの資金をエコシステムに戻すことになります。 **評価データの共有。** EvalEval コーリションの [Every Eval Ever](https://evalevalai.com/projects/every-eval-ever/) プロジェクトは、これに使用する標準化されたフォーマットです。これはメタデータスキーマ、バリデーター、および [HELM](https://github.com/stanford-crfm/helm)、[lm-eval-harness](https://github.com/EleutherAI/lm-evaluation-harness)、[Inspect AI](https://inspect.aisi.org.uk/) などの人気のあるハーンセスからのコンバーターをバンドルしており、既存の評価ログをワンステップで共有フォーマットに変換できます。[Hugging Face](https://huggingface.co/datasets/evaleval/EEE_datastore) のコミュニティリポジトリにはすでに数十人の貢献者による結果がホストされており、さらに追加するためのオープンな [Shared Task](https://evalevalai.com/events/shared-task-every-eval-ever/) が用意されています。もし本記事で言及した高コストな評価のいずれかを実行した場合、その成果物を統一された、透明性があり、検証可能かつ再現可能な方法で投稿することは、他の分野全体にとって利用可能な最もレバレッジの高いコスト削減策です。さらに、ベンチマークが Hugging Face 上にある場合、[Community Evals](https://huggingface.co/blog/community-evals) を介してハブのリーダーボードやモデルページ上で結果を公開することもできます！ ## ここまでの結論 経済構造は変化しました。つい最近まで、トレーニングは高価で評価は安価でした。5000 万ドルから 1 億ドルをかけて訓練された最先端の LLM にとって、評価はまだ丸め誤差のように見えますが、その丸め誤差は今やベンチマーク実行ごとに数万ドルのコストを伴い、しばしばノイズの多い結果を残します。ニューラル演算子、ML 研究エージェント、および再現性ベンチマークにおいては、この比率は逆転しています：信頼できる評価には、候補モデルを訓練するコストよりも多くがかかることがあります。 静的な評価をより安価にする方法はすでに知られています。Flash-HELM、tinyBenchmarks、Anchor Points は機能します。エージェントの評価については部分的な対策しかありませんが、中程度の難易度フィルタリングは役立ち、パレートフロンティアリーダーボードも有用です。しかし、ツールキットはまだ貧弱です。トレーニング・イン・ザ・ループ評価には一般的な圧縮手法が存在せず、表形式の事前計算と厳格な予算上限は、ベンチマークが測定する範囲を狭めることでコストを削減できるだけです。信頼性はさらに別の層を加えます。なぜなら、反復実行により各プロトコルの価格が上昇するためです。 分野では依然として、能力が主要な制約条件であるかのように語られていますが、評価は信頼性がより厳しい制約であることを示しています。ガバナンス機関は、単回実行の精度と pass^k 一貫性の間のギャップを測定すべきだと考えるべきですが、そのギャップを測定するコストが最も高くなります。静的ベンチマークの圧縮は、エージェントやトレーニング中のループにおけるベンチマークには転用できず、中程度の難易度フィルタリングが唯一信頼できる部分的代替手段となっています。コストを無視したリーダーボードは現在、設計上誤解を招くものであり、追加支出を報奨しながらもその支出で何を得たかを報告しないためです。 評価には今や独自の計算リソース予算、統計的手法、および失敗モードが存在します。その価格自体が、最初に強力なシステムを評価できる者を決定する要因となっています。評価費用を支払える者がリーダーボードを作成する権利を持つのです。 **Sources** - Ying et al. (2019). NAS-Bench-101: Towards Reproducible Neural Architecture Search. arXiv:1902.09635. - Liang et al. (2022). Holistic Evaluation of Language Models. arXiv:2211.09110. - Takamoto et al. (2022). PDEBench: An Extensive Benchmark for Scientific Machine Learning. arXiv:2210.07182. - Ahmed, Wahed and Thompson (2023). The growing influence of industry in AI research. Science 379(6635). - Biderman et al. (2023). Pythia: A Suite for Analyzing Large Language Models Across Training and Scaling. arXiv:2304.01373. - IBM Research (2023). Efficient LLM Benchmarking. research.ibm.com. - Perlitz et al. (2023). Efficient Benchmarking of Language Models. arXiv:2308.11696. - Vivek 他 (2023). Anchor Points: Benchmarking Models with Much Fewer Examples. arXiv:2309.08638. - Chan 他 (2024). MLE-bench: Evaluating Machine Learning Agents on Machine Learning Engineering. arXiv:2410.07095. - Chen 他 (2024). ScienceAgentBench: Toward Rigorous Assessment of Language Agents for Data-Driven Scientific Discovery. arXiv:2410.05080. - Kapoor 他 (2024). AI Agents That Matter. arXiv:2407.01502. - Wijk 他 (METR, 2024). RE-Bench: Evaluating Frontier AI R&D Capabilities of Language Model Agents Against Human Experts. arXiv:2411.15114. - Ohana 他 (2024). The Well: a Large-Scale Collection of Diverse Physics Simulations for Machine Learning. arXiv:2412.00568. - Polo 他 (2024). tinyBenchmarks: evaluating LLMs with fewer examples. arXiv:2402.14992. - Siegel 他 (2024). CORE-Bench: Fostering the Credibility of Published Research Through a Computational Reproducibility Agent Benchmark. arXiv:2409.11363. - Tian 他 (2024). SciCode: A Research Coding Benchmark Curated by Scientists. arXiv:2407.13168. - Kapoor 他 (2025). Holistic Agent Leaderboard: The Missing Infrastructure for AI Agent Evaluation. arXiv:2510.11977. - Li 他 (2025). Adaptive Testing for LLM Evaluation: A Psychometric Alternative to Static Benchmarks. arXiv:2511.04689. - Mehta (2025). Beyond Accuracy: A Multi-Dimensional Framework for Evaluating Enterprise Agentic AI Systems. arXiv:2511.14136. - Starace 他 (2025)。PaperBench: AI の AI 研究再現能力の評価。arXiv:2504.01848。 - UK AISI (2025)。AI サイバータスクにおける推論スケーリングのエビデンス：評価予算の増額が成功率の上昇を示す。aisi.gov.uk。 - Bandel 他 (2026)。一般エージェント評価。arXiv:2602.22953。 - Garikaparthi 他 (2026)。ResearchGym：実世界の AI 研究における言語モデルエージェントの評価。arXiv:2602.15112。 - Ndzomga (2026)。AI エージェントの効率的なベンチマーク。arXiv:2603.23749。 - Rabanser 他 (2026)。AI エージェント信頼性の科学へ向けて。arXiv:2602.16666。 - ホリスティックエージェントリーダーボード（ライブ版）。hal.cs.princeton.edu。 BibTeX 引用 @misc{ghosh2026evalbottleneck, author = {Ghosh, Avijit and Mai, Yifan and Channing, Georgia and Choshen, Leshem}, title = {{AI} evals are becoming the new compute bottleneck}, year = {2026}, month = apr, howpublished = {EvalEval Coalition Blog}, url = {https://evalevalai.com/research/2026/04/29/eval-costs-bottleneck/} }

AI 評価が新たな計算リソースのボトルネックに

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト