LLMにおける外生的幻覚
本文の状態
日本語全文を表示中
詳細モードで約2分の本文を読めます。
同じ出来事の情報源
この情報源を基点に整理
Lilian Weng
大規模言語モデルの「幻覚」を、提供された文脈や世界知識に基づかない捏造出力に限定し、「文脈内」と「外生的」の2類型に分類する研究を提示。
Continue in AI NEW LAB
このニュースを、実務の判断につなげる
AI NEW LABで、試したことや先に確認したい条件を共有できます。まずはログインなしで読めます。
AI NEW LABで論点を見るSource Article
元記事を日本語で読む
本文に関係しない購読案内、埋め込み通知、サイト内プロモーションは除いています。
大規模言語モデルにおけるハルシネーションは、通常、モデルが不正確な、捏造された、一貫性のない、あるいは意味をなさないコンテンツを生成することを指します。用語としてのハルシネーションは、モデルが誤りを犯した場合のケースにもやや一般化されています。ここでは、ハルシネーションの問題を、モデルの出力が提供された文脈または世界知識によって根拠付けられていない捏造された場合に限定して議論したいと思います。
ハルシネーションには2つのタイプがあります:
- コンテキスト内ハルシネーション: モデルの出力は、コンテキスト内のソースコンテンツと整合している必要があります。
- 外生的ハルシネーション (Extrinsic hallucination): モデルの出力は、事前学習データセットによって根拠付けられるべきです。しかし、事前学習データセットの規模を考慮すると、生成ごとに競合を検索して特定するのはコストが高すぎます。もし事前学習データのコーパスを世界知識のプロキシとみなすなら、本質的にはモデルの出力が事実であり、外部の世界知識によって検証可能であることを保証しようとしていることになります。同様に重要なのは、モデルがある事柄について知らない場合、それを明言すべきであるという点です。
この投稿は外生的ハルシネーションに焦点を当てています。ハルシネーションを防ぐためには、大規模言語モデル (LLM) は (1) 事実的であり、(2) 適用可能な場合は答えを知らないことを認める必要があります。
原文を表示
Hallucination in large language models usually refers to the model generating unfaithful, fabricated, inconsistent, or nonsensical content. As a term, hallucination has been somewhat generalized to cases when the model makes mistakes. Here, I would like to narrow down the problem of hallucination to cases where the model output is fabricated and not grounded by either the provided context or world knowledge.
There are two types of hallucination:
- In-context hallucination: The model output should be consistent with the source content in context.
- Extrinsic hallucination: The model output should be grounded by the pre-training dataset. However, given the size of the pre-training dataset, it is too expensive to retrieve and identify conflicts per generation. If we consider the pre-training data corpus as a proxy for world knowledge, we essentially try to ensure the model output is factual and verifiable by external world knowledge. Equally importantly, when the model does not know about a fact, it should say so.
This post focuses on extrinsic hallucination. To avoid hallucination, LLMs need to be (1) factual and (2) acknowledge not knowing the answer when applicable.
今日のまとめ
AIデイリーブリーフで今日の重要ニュースをまとめ読み