GraphEval で言語モデルの幻覚を評価

記事の3ポイント

1. 1

   GraphEval の基本コンセプト

   従来の単一スコアによる評価ではなく、知識グラフを用いてハルシネーションが発生した具体的な箇所を特定し、説明可能性を高めるアプローチを採用する。

2. 2

   2段階の評価プロセス

   第一段階で生成された回答から意味的なトリプル（主語・関係・目的語）を含む知識グラフを構築し、第二段階でこれを正解となる文脈と照合して評価を行う。

3. 3

   自然言語推論による検出

   NLI モデルを用いて各トリプルが文脈から導き出せるか（言えるか）を検証し、矛盾や中立と判断されたトリプルをハルシネーションとしてフラグを立てる。