LLM の記憶使用における認知の罠を評価するベンチマーク「MemTrapBench」を発表

記事の3ポイント

1. 1

   認知トラップの特定と定義

   正確に記録・検索された記憶であっても、モデルの推論や信念を歪め、現在のタスク性能を低下させる「Reasoning Fixation」と「Belief Distortion」の 2 つの認知トラップを同定した。

2. 2

   MemTrapBench の導入と評価結果

   このトラップを体系的に評価するベンチマーク MemTrapBench を提案し、実験により既存のメモリ戦略は全て「メモリなし」設定よりも下回る性能を示し、最良の方法でも 10% 以上の低下を招くことを示した。

3. 3

   緩和手法 AdaptiveMem の提案

   推論時に LLM に認知トラップを回避するよう指示する簡便かつ効果的な手法「AdaptiveMem」を提案し、これにより認知トラップを軽減しつつ標準ベンチマークでの性能も維持・向上させることに成功した。