AI 評価の信頼性向上、世界初の二重盲検型評価をパイロット実施

記事の3ポイント

1. 1

   世界初の二重盲検評価の実施

   Google は外部評価がモデルの学習に利用されないよう暗号化された「箱」内で、Gemini Flash Lite を秘密裏にテストする世界初の試みを行った。

2. 2

   ベンチマーク汚染問題への対応

   モデルが事前にテスト問題を閲覧してスコアを操作できる「ベンチマーク汚染」を防ぎ、真の能力と安全性を正確に測定する仕組みを確立した。

3. 3

   多様なパートナーとの連携体制

   シンガポール AI セーフティ研究所、OpenMined、AVERI、MLCommons と協力し、専門的な知見と技術的 safeguards を組み合わせて評価の整合性を高めた。