DeepMind が公開した生成 AI 評価用ツール「ProEval」の GitHub リポジトリ
Google DeepMind が公開した「ProEval」は、ベイズ最適化と代理モデルを活用し、生成 AI の評価コストを最大 100 倍削減しながらも精度を維持する画期的なオープンソースツールである。
キーポイント
コスト劇的削減の実現
従来の手法に比べサンプル数を大幅に減らしつつ、±1% の精度で評価結果を得ることで、GenAI の評価コストを最大 100 倍削減することを可能にする。
失敗パターンの能動的発見
限られた評価予算の枠内で、モデルの多様なバグや失敗ケースを積極的に特定・表面化させる機能を提供し、開発の質向上に寄与する。
ベンチマーク間の転移学習
事前訓練された GP（ガウス過程）サロゲートモデルが新たなモデルやタスクに対して即座に一般化・適用可能であり、評価効率を飛躍的に高める。
多様なモダリティへの対応
推論（GSM8K）、安全性（Jigsaw）、分類（MMLU, StrategyQA）など異なるモダリティのタスクに容易に統合可能で、検証済みである。
少量データでの誤り率推定
BQPriorSampler を使用し、全データの約1%のみをサンプリングすることでモデルの誤り率を高精度に推定できます。
実験実行方法
コマンドラインから `python -m experiment.exp_performance_estimation` を実行し、指定したデータセット（例：svamp）で BQ-SF や BQ-RPF などの手法を評価できます。
ライセンスの明示
記事内の資料はCC-BY 4.0、ソフトウェアはApache 2.0の下でライセンスされており、それぞれ異なる条件が適用されます。
影響分析・編集コメントを表示
影響分析
このツールは、生成 AI モデルの開発サイクルにおいて、膨大な計算リソースを要する評価プロセスの効率化に革命をもたらす可能性があります。特に、予算制約のある開発現場や、迅速なイテレーションが求められる研究環境において、コスト対効果を劇的に改善し、より安全で高性能なモデルの実装を加速させる中核技術となり得ます。
編集コメント
生成 AI の評価コストは開発の足かせとなりがちですが、DeepMind が提案するこの手法は「少ないデータで高精度な評価」を実現する実用的な解決策です。オープンソース化により業界全体の評価標準が向上し、より安全な AI 開発が加速することが期待されます。
GenAI の評価コストを最大 100 倍削減しながら、モデルの失敗パターンを積極的に発見してより良い AI 開発を導きます。
- 💰 GenAI 評価コストを最大 100 倍カット — サンプル数のごく一部で±1% の精度を実現
- 🔍 失敗事例を発見 — 厳格な評価予算の下で多様なバグを積極的に表面化
- 🧠 ベンチマーク間での転移学習 — 事前訓練された GP（ガウス過程）サロゲートが新しいモデルに即座に一般化する
- 🧩 簡単な統合 — 異なるモダリティを持つ GenAI 評価システムへ容易に統合可能
- ✅ 推論、安全性、分類で検証済み — GSM8K, MMLU, StrategyQA, Jigsaw など多数
インストール
pip install -r requirements.txt
クイックスタート
from proeval import BQPriorSampler, LLMPredictor, DATASET_CONFIGS
from proeval.sampler import load_predictions, extract_model_predictions
import numpy as np
データの約 1% でモデルのエラー率を推定
sampler = BQPriorSampler(noise_variance=0.3)
result = sampler.sample(predictions="svamp", target_model="gemini25_flash", budget=50)
真のエラー率と比較
df = load_predictions("svamp")
pred_matrix, model_names = extract_model_predictions(df)
true_mean = np.mean(pred_matrix[:, model_names.index("gemini25_flash")])
print(f"推定エラー率：{result.estimates[-1]:.4f}")
print(f"MAE: {result.mae(true_mean):.4f}")
実験
実験の実行方法の例を以下に示します：
BQ パフォーマンス推定（BQ-SF、BQ-RPF などを実行）
python -m experiment.exp_performance_estimation --dataset svamp --n-runs 5
包括的な 実験の詳細 やデータセットの設定については、こちら をご覧ください。
引用
本研究成果があなたの研究やプロジェクトに役立った場合は、当社の技術報告書を引用してください。ありがとうございます！
@article{huang2026proeval,
title={{{ProEval}: Proactive Failure Discovery and Efficient Performance Estimation for Generative AI Evaluation}},
author={Huang, Yizheng and Zeng, Wenjun and Kumaresan, Aditi and Wang, Zi},
journal={arXiv preprint arXiv:2604.23099 [cs.LG]},
year={2026},
url={https://arxiv.org/abs/2604.23099}
}
ライセンス
Copyright 2026 DeepMind Technologies Limited
本ソフトウェアはすべて、Apache License, Version 2.0 (Apache 2.0) の下でライセンスされています。Apache 2.0 ライセンスに準拠しない限り、本ファイルを使用することはできません。Apache 2.0 ライセンスのコピーは以下の URL で入手できます：
https://www.apache.org/licenses/LICENSE-2.0
その他のすべての資料は、Creative Commons Attribution 4.0 International License (CC-BY) の下でライセンスされています。CC-BY ライセンスのコピーは以下の URL で入手できます：
https://creativecommons.org/licenses/by/4.0/legalcode
適用法により要求される場合、または書面による合意がある場合を除き、本サイトで配布されるすべてのソフトウェアおよび資料は、Apache 2.0 または CC-BY ライセンスの下で、「現状有姿」の状態で、明示的または黙示的ないかなる保証も条件もなく配布されます。これらのライセンスにおける許可と制限を規定する具体的な言語については、各ライセンスをご参照ください。
これは公式な Google プロダクトではありません。
原文を表示
Slash GenAI evaluation costs by up to 100x while actively discovering model failure patterns to guide better AI development.
- 💰 Cut GenAI eval costs up to 100× — achieve ±1% accuracy with a fraction of the samples
- 🔍 Discover failure cases — proactively surface diverse bugs under strict evaluation budgets
- 🧠 Transfer learning over benchmarks — pre-trained GP surrogates generalize to new models instantly
- 🧩 Easy Integration - Easily to integrate into the GenAI evaluation systems with different modalities
- ✅ Validated on reasoning, safety & classification — GSM8K, MMLU, StrategyQA, Jigsaw, and more
Installation
pip install -r requirements.txtQuick Start
from proeval import BQPriorSampler, LLMPredictor, DATASET_CONFIGS
from proeval.sampler import load_predictions, extract_model_predictions
import numpy as np
# Estimate a model's error rate with ~1% of the data
sampler = BQPriorSampler(noise_variance=0.3)
result = sampler.sample(predictions="svamp", target_model="gemini25_flash", budget=50)
# Compare against the true error rate
df = load_predictions("svamp")
pred_matrix, model_names = extract_model_predictions(df)
true_mean = np.mean(pred_matrix[:, model_names.index("gemini25_flash")])
print(f"Estimated error rate: {result.estimates[-1]:.4f}")
print(f"MAE: {result.mae(true_mean):.4f}")Experiments
Here is an example of how to run the experiments:
# BQ performance estimation (runs BQ-SF, BQ-RPF, etc.)
python -m experiment.exp_performance_estimation --dataset svamp --n-runs 5You can find the comprehensive experiment details and dataset settings here.
Citation
If the work did some helps on your research/project, please cite our tech report. Thank you!
@article{huang2026proeval,
title={{{ProEval}: Proactive Failure Discovery and Efficient Performance Estimation for Generative AI Evaluation}},
author={Huang, Yizheng and Zeng, Wenjun and Kumaresan, Aditi and Wang, Zi},
journal={arXiv preprint arXiv:2604.23099 [cs.LG]},
year={2026},
url={https://arxiv.org/abs/2604.23099}
}
License
Copyright 2026 DeepMind Technologies Limited
All software is licensed under the Apache License, Version 2.0 (Apache 2.0);
you may not use this file except in compliance with the Apache 2.0 license. You
may obtain a copy of the Apache 2.0 license at:
https://www.apache.org/licenses/LICENSE-2.0
All other materials are licensed under the Creative Commons Attribution 4.0
International License (CC-BY). You may obtain a copy of the CC-BY license at:
https://creativecommons.org/licenses/by/4.0/legalcode
Unless required by applicable law or agreed to in writing, all software and
materials distributed here under the Apache 2.0 or CC-BY licenses are
distributed on an "AS IS" BASIS, WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND,
either express or implied. See the licenses for the specific language governing
permissions and limitations under those licenses.
This is not an official Google product.
関連記事
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み