LLM 評価者が合意した場合、その結果を信頼すべきか

記事の3ポイント

1. 1

   多数決の限界と依存性の問題

   単純な多数決や過去の精度に基づく重み付けは、評価者間が共通のバイアスや盲点を共有している場合、誤りを過信するリスクがある。

2. 2

   イジングモデルによる依存関係のモデル化

   各評価者の信頼度だけでなく、ペア間の類似性や共同での誤りパターンを統計モデルであるイジングモデルで学習し、ネットワークとして扱う手法を採用した。

3. 3

   教師なし設定での実証と性能向上

   人間による正解ラベルを用いない教師なし環境で評価者の真のラベルを推論するこの手法は、3 つの異なるタスクにおいて既存の最良ベースラインを上回る結果を出した。