#評価方法論 のAIニュース

Googleの研究が発見：AIベンチマークは人間の意見の相違を体系的に無視している

Googleの研究チームが、AIベンチマークで標準的に使用される3〜5人の人間評価者では信頼性が不十分であり、アノテーション予算の配分方法が予算規模と同様に重要だと指摘した。