Google DeepMind、AI 評価の二重盲検方式を世界初導入

2026 年 8 月 27 日

責任と安全性

ウィリアム・アイザック、ソル・メッシング、クリスチャン・ラム

暗号化された安全な環境を用いて、独自モデルの評価基準への信頼を構築する

ある学生が重要な試験を受けることを想像してください。もし彼らが事前に問題文をうっかり見てしまった場合、満点を取ることはその知識に左右されるため、達成した価値は失われます。本当に彼らの実力を測るためには、試験開始時まで問題文を一切見られない状態である必要があります。これが、業界が進化し続ける AI モデルの評価において直面しているまさに同じ課題です。もしモデルがすでにテスト問題を学習してしまっている場合（これを「ベンチマーク汚染」と呼びます）、その結果は限定的な信頼しか得られません。

本日、私たちは独自かつ最先端クラスの AI モデルに対する世界初の二重盲検評価を発表します。この手法では、外部からの評価を暗号化された「箱」内に閉じ込め、モデルがテスト前にパフォーマンスを最適化するために結果を利用できないようにします。シンガポール AI セーフティ研究所、OpenMined、AVERI、そして MLCommons と連携し、Gemini Flash Lite モデルを機密性の高いベンチマークに対して、プライバシー保護環境 でテストします。これにより、評価の完全性が大幅に向上します。

Google では、モデルの開発から展開に至るまで、多様な評価手法を用いて AI システムを評価しています。しかし、内部テストだけに頼っているわけではありません。

潜在的な盲点を発見するため、専門的な研究機関や市民社会団体、そして各国の AI セーフティ・セキュリティ研究所（AISIs）など、多様な外部パートナーと協力し、彼らの独自の専門知識を活用してモデルに負荷をかけるテストを実施しています。

AI モデルの能力が高まるにつれ、モデルが事前にテスト問題やプロンプトを見ていないことを保証することが極めて重要になります。もしそうであれば、結果が歪められてしまうからです。政策決定者、研究者、企業は、AI ベンチマークがモデルの真の能力と安全性を正確に反映していることを信頼する必要があります。しかし、モデルが評価問題を事前に「覗き見」できてしまうと、スコアが人為的に水増しされ、この信頼性が損なわれてしまいます。

ゼロ・ロギングプロトコルや厳格な契約上の保護措置によって外部のテストプロンプトを機密に保つことは以前から行われてきましたが、技術的および暗号学的な保護手段を組み込むことは、安全なモデル評価における大きな前進です。

ダブルブラインド評価の仕組み