LLMにおける外生的幻覚
Lilian Weng は、LLM のハルシネーション問題を文脈内と外部知識に基づく「Extrinsic Hallucination」に区別し、事実性と未知への言及の重要性を強調している。
キーポイント
ハルシネーションの定義の再整理
単なるミスを指す一般的な用語ではなく、提供された文脈や世界知識によって裏付けられていない「捏造された出力」に焦点を当てて問題を狭める。
Extrinsic Hallucination の定義と課題
事前学習データ（世界知識の代理）に基づいていない出力を指し、事実性を検証可能にする必要があるが、大規模データでの衝突検出は計算コストが高すぎる。
LLM 対策の二つの柱
ハルシネーションを防ぐには、(1) 常に事実に基づくこと、そして (2) 知らない事実については「知らない」と明言することが不可欠である。
影響分析・編集コメントを表示
影響分析
この記事は、LLM の信頼性を高めるために単なる精度向上だけでなく、「知らないことを認める能力」の重要性を理論的に明確にしました。実務においては、RAG システムやファインチューニングの目標設定において、事実検証と不確実性の表現を優先すべきという指針となり、ハルシネーション対策の方向性を再定義する影響があります。
編集コメント
ハルシネーション対策において、技術的な検証コストの問題だけでなく、モデルの『謙虚さ（知らないことを認める）』という振る舞いの側面が重要であることを指摘した鋭い分析です。
大規模言語モデルにおけるハルシネーションは、通常、モデルが不正確な、捏造された、一貫性のない、あるいは意味をなさないコンテンツを生成することを指します。用語としてのハルシネーションは、モデルが誤りを犯した場合のケースにもやや一般化されています。ここでは、ハルシネーションの問題を、モデルの出力が提供された文脈または世界知識によって根拠付けられていない捏造された場合に限定して議論したいと思います。
ハルシネーションには2つのタイプがあります:
- コンテキスト内ハルシネーション: モデルの出力は、コンテキスト内のソースコンテンツと整合している必要があります。
- 外生的ハルシネーション (Extrinsic hallucination): モデルの出力は、事前学習データセットによって根拠付けられるべきです。しかし、事前学習データセットの規模を考慮すると、生成ごとに競合を検索して特定するのはコストが高すぎます。もし事前学習データのコーパスを世界知識のプロキシとみなすなら、本質的にはモデルの出力が事実であり、外部の世界知識によって検証可能であることを保証しようとしていることになります。同様に重要なのは、モデルがある事柄について知らない場合、それを明言すべきであるという点です。
この投稿は外生的ハルシネーションに焦点を当てています。ハルシネーションを防ぐためには、大規模言語モデル (LLM) は (1) 事実的であり、(2) 適用可能な場合は答えを知らないことを認める必要があります。
原文を表示
Hallucination in large language models usually refers to the model generating unfaithful, fabricated, inconsistent, or nonsensical content. As a term, hallucination has been somewhat generalized to cases when the model makes mistakes. Here, I would like to narrow down the problem of hallucination to cases where the model output is fabricated and not grounded by either the provided context or world knowledge.
There are two types of hallucination:
- In-context hallucination: The model output should be consistent with the source content in context.
- Extrinsic hallucination: The model output should be grounded by the pre-training dataset. However, given the size of the pre-training dataset, it is too expensive to retrieve and identify conflicts per generation. If we consider the pre-training data corpus as a proxy for world knowledge, we essentially try to ensure the model output is factual and verifiable by external world knowledge. Equally importantly, when the model does not know about a fact, it should say so.
This post focuses on extrinsic hallucination. To avoid hallucination, LLMs need to be (1) factual and (2) acknowledge not knowing the answer when applicable.
関連記事
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み