GraphEval で言語モデルの幻覚を評価

image**

はじめに

大規模言語モデル（LLM）が回答を生成する際、もっともよく知られている問題の一つに「ハルシネーション」があります。これは、モデルがその事柄に関する内部知識が不足していることが原因で、事実と異なる内容や意味不明な文章、あるいはでっち上げの情報を出力してしまう現象です。

近年、このハルシネーション問題を解決する手法は数多く提案されていますが、モデル内部でこれらの問題を診断するための評価フレームワークについては、まだ研究が進んでいないのが実情です。そこで注目されているのが、アマゾンの研究者らが発表したある[最新の研究](https://assets.amazon.science/80/01/9d6ac5844cca9aefa66470b5c0aa/grapheval-a-knowledge-graph-based-llm-hallucination-evaluation-framework.pdf) です。この研究では、知識グラフ（Knowledge Graph）を用いて LLM で発生するハルシネーションを分析・検出する方法を提案しています。この研究で提示されたフレームワークの名前はGraphEvalです。

本記事では、GraphEval の概念的な構成要素を、誰でも簡単に自分のマシンで試せる軽量なコード例とシミュレーションを通じて、実践的なアプローチで紹介していきます。

GraphEval は、大規模言語モデル（LLM）が生成した出力に含まれるハルシネーション（幻覚・虚偽情報）を検出・警告するために知識グラフを活用します。従来の評価指標が正確性や確信度などの単一スコアを提供するのに対し、GraphEval は説明可能性を重視した二段階の評価プロセスを採用しています。これにより、ハルシネーションが具体的にどこで発生したのかという洞察を提供することが可能です。

この仕組みを実現するために、GraphEval は以下の 2 つの段階を経ます。

• まず、モデルが生成した回答から知識グラフを構築します。このグラフは「（主語，関係，目的語）」という形式のセマンティックなトリプルで構成され、主語と目的語がノードに対応し、それらを結ぶ関係がエッジとして機能します。
• 次に、自然言語推論（NLI）モデルを用いて、構築された知識グラフ内の各トリプルを、ソースとなる文脈（真実の知識ベース）と比較評価します。NLI エンジンによって文脈から導き出せない、あるいは矛盾・中立と判断されるトリプルは、ハルシネーションとしてフラグが立てられます。

# コード例を通じた GraphEval の解説

GraphEval フレームワークの適用をシミュレートするコードを実行する前に、必要なライブラリがインストールされているか確認しましょう：

!pip install -q transformers networkx matplotlib torch

これから紹介するコード例の目的は、GraphEval の手法がどのように機能するかを解きほぐすことです。そのため、実際の運用環境では計算コストが高くなる工程については、軽量なシミュレーションに置き換えて解説します。

具体的には、事実情報が含まれていると想定される「正解となる知識ベース（コンテキスト）」を模擬的に作成します。本番環境では、この正解データは Retrieval-Augmented Generation (RAG) システムのベクトルデータベースから関連文書を取得して得られるものです。今回は簡略化のため、直接正解となるコンテキストを作成し、変数 source_context に格納します。

LLM へ提供される正解となるコンテキスト

source_context = (

"GraphEval は、情報を知識グラフ (KG) の構造で表現することに基づいたハルシネーション評価フレームワークです。事前処理ステップとして機能し、出典の NLI モデルを活用して事実上の矛盾を検出します。"

)

次に、ユーザーからの「GraphEval について簡潔に説明してください」といった問いに対する LLM の元の回答を想定しましょう。評価プロセスの第一段階を開始するには、この回答から知識グラフを構築するよう補助的な LLM に指示を出す必要があります。その回答と、知識グラフ作成のために使用したプロンプトは以下の通りです：

評価対象となる生成応答（ハルシネーションを含む）

llm_output = (

"GraphEval は知識グラフを活用した評価フレームワークです。"

"運用には、非常に高価なエンタープライズレベルのサーバーファームが必要です。"

)

ローカルまたは無料の LLM（例：Mistral-7B）に渡す想定のプロンプトテンプレート

KG_EXTRACTION_PROMPT = f"""

あなたは情報抽出の専門家です。以下のテキストから核心となる情報を知識グラフとして抽出してください。

出力は、(主語，関係，目的語) の形式を持つ Python タプルリストとして厳密に返してください。

Text: {llm_output}

"""

計算負荷を軽減し、大規模な LLM をローカルで実行する際の重たい処理を回避するために、ここでは簡略化のため以下のようなグラフトリプルが得られたと仮定します。

大規模 LLM のローカル実行に伴う重い計算負荷を回避するための模擬的な抽出

extracted_triples = [

("GraphEval", "is", "evaluation framework"),

("GraphEval", "uses", "Knowledge Graphs"),

("GraphEval", "requires", "expensive enterprise server farm")

]

print("Extracted Triples:")

for t in extracted_triples:

print(t)

出力結果：

Extracted Triples:

('GraphEval', 'is', 'evaluation framework')

('GraphEval', 'uses', 'Knowledge Graphs')

('GraphEval', 'requires', 'expensive enterprise server farm')

意図的に、本質的なハルシネーション（幻覚）であるトリプルを追加しました。エンタープライズサーバーファームが不要なほどです。これにより、その後の NLI 処理を知識グラフに適用することで、どのようにしてそれが検出されるかをデモンストレーションできます。

今日はシミュレーションステップはここまでにして、次のステージの本番に入りましょう：NLI プロセスです。次にご紹介するコードは、GraphEval の背後にあるアイデアを活用するために不可欠なものです。このコードでは、Hugging Face から事前学習された NLI モデルを使用します。モデルは公開されており、ダウンロードにアクセストークンは不要です。各トリプルをグランドトゥルースの文脈と比較し、NLI モデルが特定のトリプルに対して「推論（entailment）」と予測しない場合、それはハルシネーションとしてラベル付けされます。

from transformers import pipeline

# オープンソースの NLI モデルを読み込みます
print("DeBERTa NLI モデルをロード中...")
nli_evaluator = pipeline("text-classification", model="cross-encoder/nli-deberta-v3-small")

def evaluate_triple(context, triple):
    subject, relation, obj = triple
    hypothesis = f"{subject} {relation} {obj}"

    # 文脈が仮説を推論しているか確認します
    result = nli_evaluator({"text": context, "text_pair": hypothesis})

    # NLI モデルは通常、'entailment'（推論）、'neutral'（中立）、または 'contradiction'（矛盾）のいずれかを出力します
    label = result['label'].lower()

    # GraphEval では、'entailment' 以外をすべてハルシネーションとしてフラグを立てます
    is_hallucinated = label != 'entailment'

    return is_hallucinated, label, hypothesis

評価パイプラインの実行

評価結果を収集し、グラフ評価の結果を表示する処理を行います。

まず、抽出された三項組（トリプル）のそれぞれについて、ソースコンテキストとの整合性を検証します。各トリプルに対して「幻覚（ハルシネーション）の有無」や「自然言語推論（NLI）によるラベル」、そして仮説文を評価関数で判定し、結果をリストに蓄積していきます。

判定結果に基づき、ステータスを表示します。「🚨 HALLUCINATION」は幻覚が検出された場合、「✅ GROUNDED」はコンテキストに根拠があることを意味します。これにより、各トリプルと NLI の出力結果を一目で確認できます。

--- GraphEval Results ---

✅ GROUNDED | Triple: ('GraphEval', 'is', 'evaluation framework') | NLI Output: entailment

✅ GROUNDED | Triple: ('GraphEval', 'uses', 'Knowledge Graphs') | NLI Output: entailment

🚨 HALLUCINATION | Triple: ('GraphEval', 'requires', 'expensive enterprise server farm') | NLI Output: neutral

予想通り、知識グラフの最後のトリプルが幻覚として検出されました。

最後に視覚的な確認のために、元の LLM の回答に基づく知識グラフと、その検出結果を併せて表示することも可能です。以下のコードでは、ネットワーク可視化ライブラリを用いて、評価結果に基づきエッジ（辺）の色分けを行います。

import networkx as nx

import matplotlib.pyplot as plt

import matplotlib.patches as mpatches

def visualize_grapheval(triples, eval_results):

G = nx.DiGraph()

edge_colors = []

for (triple, res) in zip(triples, eval_results):

sub, rel, obj = triple

is_hallucinated = res[0]

G.add_node(sub)

G.add_node(obj)

G.add_edge(sub, obj, label=rel)

# NLI 評価に基づきエッジの色を分ける

edge_colors.append('red' if is_hallucinated else 'green')

プロットの設定

plt.figure(figsize=(10, 6))

pos = nx.spring_layout(G, seed=42)

# ノードの描画

nx.draw_networkx_nodes(G, pos, node_color='lightblue', node_size=2500)

nx.draw_networkx_labels(G, pos, font_size=10, font_weight='bold')

# エッジとラベルの描画

nx.draw_networkx_edges(G, pos, edge_color=edge_colors, width=2.5, arrowsize=20)

edge_labels = nx.get_edge_attributes(G, 'label')

nx.draw_networkx_edge_labels(G, pos, edge_labels=edge_labels, font_color='black')

# 凡例の追加

green_patch = mpatches.Patch(color='green', label='Grounded (Entailment)')

red_patch = mpatches.Patch(color='red', label='Hallucination (Neutral/Contradiction)')

plt.legend(handles=[green_patch, red_patch], loc='lower right')

plt.title("GraphEval Hallucination Map", fontsize=14, fontweight='bold')

plt.axis('off')

plt.tight_layout()

plt.show()

知識グラフのレンダリング

visualize_grapheval(extracted_triples, evaluation_results)

結果として得られる可視化:

**

# まとめ

GraphEval は、大規模言語モデル（LLM）の出力におけるハルシネーション（幻覚現象）の原因を検出し、その場所を特定するために提案された評価手法です。本記事では、この手法の有効性と、実システムへの導入に向けた重要な示唆を理解しやすくするため、主要な原則と手順を実践的なシナリオに置き換えて解説しました。

AI、機械学習、深層学習、大規模言語モデル（LLM）の分野でリーダー、ライター、スピーカー、そしてアドバイザーとして活躍するイヴァン・パロマレス・カラスコーサ氏。彼は、実社会において AI を効果的に活用する方法を他者に指導し、支援しています。

LinkedIn プロフィール にもアクセス可能です。