Google DeepMind、AI 評価の二重盲検方式を世界初導入

記事の3ポイント

1. 1

   世界初のダブルブラインド評価の実施

   Google DeepMind は外部評価者がテスト問題を事前に閲覧できない暗号化された「箱」の中で、Gemini Flash Lite モデルの評価を行う手法を世界で初めて導入した。

2. 2

   ベンチマーク汚染問題への技術的解決

   モデルがテスト質問やプロンプトを事前に学習してスコアを水増しする「ベンチマーク汚染」を防ぐため、ゼロログプロトコルに加え暗号学的な安全装置を組み込んだ。

3. 3

   多様な外部パートナーとの連携体制

   シンガポール AI セーフティ研究所、OpenMined、AVERI、MLCommons と協力し、国家機関や市民社会の専門知識を活用してモデルの盲点を洗い出す。