評価指標に依存する注釈飽和：ラベル分布からの学習における研究

Apple Machine Learning は、注釈者の不一致が信号となり得ることを示し、評価指標によって必要な注釈者数が異なる「注釈飽和」を特定した。NLI モデルの実験により、不一致を検出するエントロピー相関には約 20〜50 人の注釈者が必要であることが明らかになった。