LLM がユーザープロファイルを捏造する現象と自己監視の誤りを示す研究

記事の3ポイント

1. 1

   過剰推論の普遍性と深刻さ

   評価対象となった12モデルすべてで、主張の35%〜49%にわたって証拠のないユーザー属性が捏造される「過剰推論」が発生しており、この現象から逃れるモデルは存在しなかった。

2. 2

   自己監視機能の逆転現象

   モデルが自らの過剰推論を低く評価する傾向と、外部審査者が高く評価する結果に強い負の相関（自己監視逆転）が見られ、モデルの自己申告は比較指標として信頼できない。

3. 3

   新規ベンチマーク「MirageBench」の導入

   ステレオタイプや中立など150のペルソナと6つのタスクを含む評価枠組み「MirageBench」を構築し、12モデルファミリーの14万3千件以上の主張を独立審査者によって検証した。