LLM 判定器の信頼性評価：人間との整合性を測る方法

記事の3ポイント

1. 1

   単一指標の限界と多角的アプローチ

   LLM ジャッジの信頼性を判断するには単一の数値ではなく、タスクの定義明確さや人間との合意度など複数の側面から別々の測定を行う必要がある。

2. 2

   3 つの核心評価質問

   評価基準の適用信頼性、人間同士の合意頻度に対する LLM の一致度、そして LLM が人間の判断と異なる際の誤りの種類という 3 点を問う。

3. 3

   人間間合意度の測定と参照基準

   代表サンプルで複数の人間注釈を集め、Cohen's kappa や Krippendorff's alpha などの確率調整済み指標を用いて人間間の合意度を算出する。