LLM 評価者が合意した場合、その結果を信頼すべきか

検索拡張生成（RAG）システムの評価を想像してみてください。ユーザーが質問をすると、システムは関連するテキストを抽出し、大規模言語モデル（LLM）の判定者がその関連性を判断します。ノイズを減らすため、複数の判定モデルに同じテキストの評価を依頼することがあります。「8 人が『関連あり』と答え、2 人が『関連なし』と答えた」という結果が出た場合、10 人中 8 人の賛成は説得力があるように思えます。

しかし、重要なのは単に何人の判定者が合意したかではなく、その合意がどのようにして達成されたかです。もし 8 人の判定者が本当に異なる根拠に基づいて判断しているなら、合意は強力なシグナルとなります。一方で、それらのモデルが同じプロンプトテンプレートや学習の系譜、モデルファミリーを共有していたり、共通の盲点を持っていたりする場合は、同じミスを繰り返している可能性が高いです。その場合、投票数だけを見ると証拠が実際よりも強く見えてしまいます。

Shiva Kasiviswanathan 氏と共著し、今年開催された国際機械学習学会（ICML）で発表した論文「Dependence-aware label aggregation for LLM-as-a-judge via Ising models」は、この問題に取り組んだものです。私たちは、判定者の出力間の相関関係を評価し、その結果に応じて集計スコアを調整する手法を提案しました。これにより、多様な意見が反映されるようにしています。

3 つの異なるタスクでのテストでは、本手法は歴史的な精度に基づいて重み付けされた判定者パネルという最良のベースラインを上回り、標準的な指標で 9% から 14% の性能向上を示しました。

多数決の魅力はその単純さにあります。各判定者に 1 票を与え、より多くの票を得た答えが勝つのです。

重み付き多数決は自然な改善策です。より正確とみなされる評価者には、より大きな影響力を与えます。両方のアプローチとも有用なベースラインとなりますが、これらは「誤答した評価者は互いに独立してエラーを犯す」という単純化されたパネル観に共通して依存しています。この仮定は、LLM-as-a-judge システムにおいてはしばしば楽観的すぎます。

複数の評価者が同じ基準解釈を行うために同時に失敗したり、同じ例示プロンプトを与えられて共通の評価バイアスを継承したり、関連するモデル群が同じ表現に同様に敏感になったりすることがあります。こうしたケースでは、多数決は外見ほど有用な情報源とは限りません。

評価パネルはネットワークです。より優れた集約手法は、パネルを「評価者間のネットワーク」として扱います。各評価者は依然として独自の信頼性プロファイルを持ちますが、ペアごとの関係性も考慮します。一部のペアは、個別の信頼性プロファイルから予測される以上に頻繁に一致し、共通のミスを共有することもあります。一方、他のペアは補完的な視点を提供します。

これらの関係性はイジングモデルを用いてモデル化します。これは二値変数間の対依存性を表現できる統計モデルです。LLM-as-a-judge の文脈では、集約器は評価者の能力と評価者間の類似性の両方を学習します。本手法は教師なし設定を前提としており、人間による正解ラベルを用いず、評価者の出力のみから学習を行います。

この手法では、各項目の真のラベルを潜在変数として扱い、判定者の信頼性や依存関係を記述するパラメータと同時に推論を行います。依存関係のモデル化には、主に2つのレベルがあります。

最初のモデルでは、正解・不正解に関わらず、判定者間の関係パターンはほぼ一定であると仮定します。最終的な決定は重み付き投票のように見えますが、相関関係を考慮して重みが調整されます。これにより、冗長な合意を減点しつつ、予測ルールが解釈しやすさを保つことができます。

2番目のモデルであるクラス依存型モデルでは、関係パターンがラベルによって変化することを許容します。これは、合意構造自体にクラスの情報が含まれている場合に有効です。例えば、明確な項目については判定者全員が広範に合意する一方で、曖昧な項目については特定のクラスタに分かれるようなケースが該当します。このアプローチは表現力に富みますが、追加のパラメータを信頼性高く推定するためには、より多くのデータが必要です。

評価ログからの学習では、初期のパラメータ設定から始め、各項目の投票結果を組み合わせて真のラベルが正解である確率を推定します。このソフトな確率は、モデルが現在持つ最良の推測値であり、外部から与えられたラベルではありません。その後、これらの確率を更新し、そこから判定者の信頼性やペアごとの依存関係を再推定する処理を交互に繰り返します。参考となる正解ラベルは、実験結果の精度を測定する際にのみ使用されます。

この手法は、すでに大規模な LLM-as-a-judge の出力データを収集しているチームにとって、特に有用です。

既存の評価ログには、単なる投票結果だけでなく、合意や不一致のパターンも含まれています。依存関係を考慮した集約手法は、これらのパターンを実用的なシグナルに変換します。同じ学習済みネットワークを用いれば、実務的な質問への回答も可能です。

例えば、「類似のモデルが独立した証拠を提供しているのか、それとも互いに強化し合っているだけなのか」「あるタスクでは広範な合意が得られる一方、別のタスクではクラスタ固有の分裂が生じるのか」「評価者数を増やすことで評価精度が向上するのか、あるいは既存のバイアス源を単に複製するだけになるのか」——こうした問いに答えられます。

我々は、このアプローチを3 つの二値分類タスクで検証しました。対象は「取得情報の関連性分類」「毒性コンテンツの分類」「要約評価」です。評価者パネルには 10 種類のモデルを用いましたが、いずれも温度パラメータをゼロに設定して実行しました。これにより出力にランダム性がなくなり、同じ入力に対して常に同一の結果が得られるようになります。

我々は、依存関係を考慮したモデルと、条件付き独立性を仮定する2 つのベースライン（重み付き多数決投票、均等多数決投票）を比較しました。3 つのタスクすべてにおいて、システムに十分な評価項目数と評価者数が揃い、有意な関係性を推定できる状態になれば、依存関係をモデル化することで精度が向上することが確認されました。

各タスクに対して利用可能な最大限の訓練データを用い、10 個の判定モデルすべてを活用した場合、依存関係を考慮した集約手法は、関連性評価で 0.912 の精度を達成しました。これは、重み付き多数決の 0.820 や均等多数決の 0.804 を上回る結果です。有害性の判定では 0.792 で、比較対象の 0.694 と 0.695 を大きく引き離しました。要約タスクにおいても 0.806 の精度を記録し、他の手法が示した 0.737 や 0.561 を凌駕しています。

LLM-as-a-judge パイプラインを採用するチームにとって、依存関係を考慮した集約アプローチは、いくつかの重要な実践指針を示唆しています。第一に、個々の判定モデルだけでなく、判定パネル全体を評価すべきです。個別には強力なモデル群でも、同じような誤りを犯す傾向があれば、結果として重複してしまいます。

第二に、モデルの多様性は統計的な多様性として捉える必要があります。異なるモデルファミリーやアーキテクチャを組み合わせることは、タスクにとって重要なエラーパターンを変化させる場合にのみ有効です。

第三に、合意形成の構造を検証することが重要です。強いクラスターが現れる場合、それは共通の評価基準やモデルの振る舞いの類似性、あるいはタスク固有の曖昧さを示している可能性があります。最終的なラベルが変わらなくても、こうした情報は貴重な洞察となります。

最後に、不確実性を報告する際は依存関係を念頭に置くべきです。10 個の相関した投票が、常に 10 個の独立した投票と同じ信頼度を生むわけではありません。LLM の判定者が一致した場合、その理由を問う必要があります。時にはそれは独立した証拠となり得ますが、別の時は共通の盲点である可能性もあります。優れた集約手法には、この二つを見分ける能力が求められます。

謝辞：Shiva Prasad Kasiviswanathan