詰め込みを減らして記憶を増やす：訓練データの剪定が事実の記憶を改善
本文の状態
日本語全文を表示中
詳細モードで約1分の本文を読めます。
同じ出来事の情報源
この情報源を基点に整理
Apple Machine Learning
ICLR 2026のワークショップで採択された研究が、情報理論の観点から事実記憶を定式化し、訓練データ分布が事実精度に与える影響を分析した。大規模言語モデル（LLM）は事実知識の記憶に苦戦し、幻覚や知識集約型タスクでの低性能を招くが、訓練データの剪定が記憶を改善できることを示した。
Source Article
元記事を日本語で読む
本文に関係しない購読案内、埋め込み通知、サイト内プロモーションは除いています。
本論文は、ICLR 2026における「基盤モデルのためのデータ問題のナビゲーションと対処」ワークショップで採択されました。
大規模言語モデル（LLM: Large Language Models）は、パラメータ内に事実知識を記憶することに苦戦することが多く、その結果、ハルシネーション（幻覚）や知識集約型タスクにおける性能の低下を招くことがよくあります。本論文では、情報理論的な観点から事実の記憶を形式化し、学習データ分布が事実の精度にどのように影響するかを検討します。私たちは、学習データに含まれる情報の量がモデルの…
原文を表示
This paper was accepted at the Workshop on Navigating and Addressing Data Problems for Foundation Models at ICLR 2026.
Large language models (LLMs) can struggle to memorize factual knowledge in their parameters, often leading to hallucinations and poor performance on knowledge-intensive tasks. In this paper, we formalize fact memorization from an information-theoretic perspective and study how training data distributions affect fact accuracy. We show that fact accuracy is suboptimal (below the capacity limit) whenever the amount of information contained in the training data facts exceeds model…
今日のまとめ
AIデイリーブリーフで今日の重要ニュースをまとめ読み