Hugging Face、LLM の多レベル幻覚検出フレームワーク「Enoki」を公開

LLM を高リスクな環境で導入する際、事実性の担保は依然として重要な課題です。既存のハルシネーション検出手法は通常、単一のレベルでのみ動作します。主張レベルの手法は解釈可能な事実単位を提供しますが、スパンレベルの手法は根拠のないテキストを局所化するものです。これら 2 つの視点を統合するにはコストがかかります。LLM を多用するパイプラインでは複数の分解と検証呼び出しが必要であり、モジュラーシステムでは追加で主張からスパンへの整合性処理が求められるからです。

そこで私たちは、多レベルハルシネーション検出のためのオープン情報抽出フレームワーク「Enoki」を提案します。Enoki はテキストに紐付いた関係事実を抽出し、証拠と照合して検証します。さらに、根拠のない事実をハルシネーションが生じたスパンへと投影します。この共通表現により、主張レベルの検証とスパンレベルの局所化を、別個の整合性処理なしで実現できます。

Enoki は LLM ベース、エンコーダーベース、ルールベースのいずれの抽出方式にも対応し、共通インターフェースを通じて精度と推論コストのバランスを取ります。実験結果では、Enoki は強力な主張レベルシステムと互角の性能を維持しつつ、より少ないリソースで動作します。また、微細なスパンおよびエンティティレベルの局所化においては、従来手法を上回る性能を発揮しました。

さらに、主張レベルの検証とスパンレベルの局所化注釈が整合した二重粒度データセット「EnokiQA」も公開します。