AI 評価の信頼性向上、世界初の二重盲検型評価をパイロット実施

2026 年 8 月 27 日

責任と安全性

ウィリアム・アイザック、ソル・メッシング、クリスチャン・ラム

暗号化された安全な環境を用いた独自モデルベンチマークへの信頼構築

ある学生が重要な試験を受けることを想像してください。もし彼らが事前に問題文をうっかり見てしまった場合、満点を取ることはその知識に左右されるため、達成した価値は失われます。本当に彼らの実力を測るためには、試験開始時まで問題文を見せないことが不可欠です。

これは、業界が進化の最前線にある AI モデルを評価する際に直面している課題と全く同じです。もしモデルがすでにテスト問題を学習してしまっている場合（これをベンチマーク汚染と呼びます）、その結果は限定的な信頼しか持てません。

本日、私たちは独自かつ最先端クラスの AI モデルに対する世界初の二重盲検評価を発表します。この手法では、外部からの評価を暗号化された「箱」内に閉じ込め、モデルが後でパフォーマンスを最適化するためにそれを利用できないようにします。シンガポール AI セーフティ研究所、OpenMined、AVERI、そして MLCommons と連携し、Gemini Flash Lite モデルを機密性の高いベンチマークでテストします。これにより、プライバシー保護環境 内で評価の整合性を高めます。

Google では、モデルの開発から展開に至るまで、多様な評価手法を用いて AI システムを評価しています。しかし、内部テストだけに頼っているわけではありません。

潜在的な盲点を発見するため、専門的な研究機関や市民社会団体、そして各国の AI セーフティ・セキュリティ研究所（AISIs）など、多様な外部パートナーと連携し、彼らの独自の専門知識を活用してモデルに負荷をかけるテストを実施しています。

AI モデルの能力が向上するにつれ、モデルが事前にテスト問題やプロンプトを見ていないことを保証することが極めて重要になります。もしモデルが評価問題を事前に「覗き見」できてしまうと、結果が歪められ、スコアが人為的に水増しされる恐れがあるからです。

政策立案者、研究者、企業は、AI ベンチマークがモデルの真の能力と安全性を正確に反映していることを信頼する必要があります。しかし、評価問題を事前に把握できる状態では、この信頼は損なわれてしまいます。

ゼロログプロトコルや厳格な契約上の安全策によって外部テスト用のプロンプトを秘匿する取り組みは以前から行われていますが、技術的・暗号的な保護手段を組み込むことは、モデル評価の安全性において大きな一歩となります。

二重盲検型評価の仕組み