メモリツールが AI モデルの性能を低下させる理由
TechCrunch AI は、AI モデルに実装されたメモリツールの使用が、かえってモデルの精度や信頼性を低下させる可能性について分析している。
現代の AI システムにおける最大の売りの一つは、ユーザーに適応する能力です。AI アシスタントがあなたのためにタスクを引き受けるたびに、それはあなたのスタイルや好みに適応し、それらは将来のタスクのためのコンテキストとして組み込まれます。より多くのコンテキストとユーザーへの理解が深まることで、モデルはあなたが使用するたびに改善されるはずです—少なくともそれが理論です。
新しい研究では、モデルの適応能力は善悪両面を持つ可能性が示唆されています。水曜日に、AI 企業 Writer の 研究者たち が、人気のあるメモリシステムがどのようにモデルを劣化させ、ユーザーによって導入された誤解や誤認識へとモデルを引きずり込むかを示す 2 つの論文 を発表しました。ユーザー入力がモデルのコンテキストウィンドウをより多く埋めるにつれて、モデルはより従順になり—精度へのコミットメントは低下します。
「私たちは、モデルがどの程度頻繁にユーザーの好みに有益に注意を払うのか、それとも潜在的に誤った回答を与えるのかを特徴づけることができるようにしたかったのです」と、論文に取り組んだ Writer の AI 責任者である Dan Bikel は語りました。Bikel が TechCrunch に語ったところ、「ユーザーの好みを追加で保存し、それを取得するたびに、リスクは増大します。」
ある変種では、研究者らがユーザーのお気に入りの書籍が『Station Eleven』であると記録させた上で、モデルにベストセラーのディストピア小説を名指すよう求めました。その結果、モデルは回答において「Station Eleven」を挙げる可能性が大幅に高まりました。これは質問がユーザーのお気に入りの書籍とは無関係であるにもかかわらずです。Mem0 や Zep といったメモリ圧縮ツール（memory compression tools）を使用すると、この傾向はさらに強まります。
論文では「すべての記憶システムは本質的に、関連する文脈と無関係なアンカーを区別することに苦しみ、多様性と創造性を著しく損ない、システムの有用性を制限しうる意図しないバイアスの経路を導入する」と述べています。
2 つ目の論文では、同じメカニズムがどのようにしてパフォーマンスを積極的に低下させ、ユーザーに金融に関する誤解を与えた上で、モデルに対して企業の業績分析を求めさせるかが示されています。モデルが持つコンテキストが多ければ多いほど、そのパフォーマンスは悪化しました。
「メモリやパーソナライゼーションの機能がない場合、AI モデルは正しく、この企業が顧客離れ（churn）が高く資本集約的なビジネスであることを評価します」と投稿には書かれています。「しかし、これらの機能をオンにすると、モデルは喜んでユーザーの誤解に同意する回答に変更したり、過去の嗜好の評価に基づいて誤った回答を提供したりします。」
特筆すべきは、本研究では Anthropic の直近の Opus 4.8 モデルについては調査していない点です。このモデルは、提示されたような入力エラーに対して積極的に反論するように トレーニングされています。研究者が発見したパターンは異なるモデル間でも一貫して成立しており、AI の文脈がいかにデリケートにバランスされているか、またそのバランスを崩すツールがどのような予期せぬ結果をもたらす可能性があるかを如実に示しています。
*当記事内のリンクを通じてご購入いただいた場合、私たちは少額のコミッションを獲得する可能性があります。これは当社の編集の独立性には影響しません。
Russell Brandom は 2012 年以来テクノロジー業界を取材しており、プラットフォームポリシーと新興技術に焦点を当てています。以前は The Verge や Rest of World で勤務し、Wired、The Awl、MIT の Technology Review にも寄稿しています。
russell.brandom@techcrunch.com または Signal（412-401-5489）までご連絡いただけます。
原文を表示
One of the biggest selling points for modern AI systems is their ability to adapt to users. Every time an AI assistant takes on a task for you, it’s also adapting to your style and preferences, which are incorporated as context for future tasks. With more context and an improved understanding of the user, the model can get better every time you use it — or at least that’s the theory.
New research suggests that models’ adaptive abilities might be a mixed blessing. On Wednesday, researchers at the AI company Writer published two papers showing how popular memory systems can make models worse, pulling them toward misconceptions or misunderstandings introduced by the user. As user input fills up more of the model’s context window, the model grows more sycophantic — and less committed to accuracy.
“We wanted to be able to characterize how often a model is going to be usefully paying attention to user preferences versus giving a potentially wrong answer,” said Dan Bikel, Writer’s head of AI, who worked on the papers. As Bikel told TechCrunch, “with every additional storing of user preferences and retrieving of them, you’re running an increasing risk.”
In one variation, researchers tested AI models by recording that a user’s favorite book was “Station Eleven,” then asking the model to name a bestselling dystopian book. Models became far more likely to name “Station Eleven” in their response, even though the question didn’t relate to the user’s favorite book. The tendency increased when using memory compression tools like Mem0 and Zep.
As the paper puts it, “all memory systems fundamentally struggle to distinguish relevant context from irrelevant anchors, severely undermining diversity and creativity and introducing unintended avenues of bias that can limit system utility,” the paper reads.
The second paper shows how the same dynamic can actively degrade performance, presenting a user with misconceptions about finance and then challenging the model to analyze a company’s performance. The more context the model had, the worse it performed.
“With no memory or personalization present the AI model correctly assesses that the company is a capital intensive business that suffers from high customer churn,” the post reads. “But with those features turned on, it will happily change its answer to agree with the user’s mistake or supply them with an incorrect answer based on its evaluation of their earlier preferences.”
Notably, the research didn’t look at Anthropic’s recent Opus 4.8 model, which was trained to actively push back against input errors like the ones presented. The patterns discovered by researchers held true across different models. It’s a demonstration of how delicately balanced AI context can be, and how useful tools can have unintended consequences if they upset that balance.
*When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.*
Russell Brandom has been covering the tech industry since 2012, with a focus on platform policy and emerging technologies. He previously worked at The Verge and Rest of World, and has written for Wired, The Awl and MIT’s Technology Review.
He can be reached at russell.brandom@techcrunch.com or on Signal at 412-401-5489.
関連記事
今日のまとめ
AIデイリーブリーフで今日の重要ニュースをまとめ読み