詰め込みを減らして記憶を増やす：訓練データの剪定が事実の記憶を改善

ICLR 2026のワークショップで採択された研究が、情報理論の観点から事実記憶を定式化し、訓練データ分布が事実精度に与える影響を分析した。大規模言語モデル（LLM）は事実知識の記憶に苦戦し、幻覚や知識集約型タスクでの低性能を招くが、訓練データの剪定が記憶を改善できることを示した。