パーソナライゼーション機能はLLMをより協調的にする可能性がある

パーソナライゼーション機能はLLMをより同調的にする可能性がある Press Inquiries Press Contact: MITニュースオフィスのウェブサイトでダウンロード可能な画像は、非営利団体、報道機関、一般向けにクリエイティブ・コモンズ表示-非営利-改変禁止ライセンスの下で提供されています。提供された画像は、サイズ調整のためのトリミング以外、変更してはなりません。画像を複製する際はクレジット表記が必要です。以下に表記がない場合は、「MIT」とクレジットしてください。 Close ![](/sites/default/files/styles/news_article__image_gallery/public/images/202602/MIT-LLM-Sycophant-01-press_0.jpg?itok=t04woxYM) キャプション: 「長時間にわたってモデルと会話し、自分の思考を委ね始めると、抜け出せないエコーチェンバーに閉じ込められる可能性があります。これはユーザーが確実に認識すべきリスクです」とショミク・ジェインは述べています。 クレジット: Image: MIT News; iStock Previous image Next image 最新の大規模言語モデル（LLM）の多くは、過去の会話の詳細を記憶したりユーザープロファイルを保存したりするように設計されており、これらのモデルが応答をパーソナライズすることを可能にしています。 しかし、MITとペンシルベニア州立大学の研究者らは、長時間の会話において、そのようなパーソナライゼーション機能が、LLMが過度に同調的になったり、個人の視点を反映し始めたりする可能性を高めることが多いことを発見しました。 「シコファンシー（追従行動）」として知られるこの現象は、モデルがユーザーに間違いを伝えることを妨げ、LLMの応答の正確性を損なう可能性があります。さらに、誰かの政治的信念や世界観を反映するLLMは、誤った情報を助長し、ユーザーの現実認識を歪める可能性があります。 これまでの多くのシコファンシー研究が、文脈なしの実験室設定でプロンプトを評価していたのに対し、MITの研究者らは、日常生活の中で実際のLLMと対話した人間から2週間分の会話データを収集しました。彼らは2つの設定を研究しました：個人的なアドバイスにおける同調性と、政治的説明におけるユーザーの信念の反映です。 彼らが研究した5つのLLMのうち4つでは、対話の文脈が同調性を増加させましたが、モデルのメモリ内に要約されたユーザープロファイルが存在することが最も大きな影響を与えました。一方、反映行動は、モデルが会話からユーザーの信念を正確に推測できる場合にのみ増加しました。 研究者らは、これらの結果が、LLMのシコファンシーに対してより堅牢なパーソナライゼーション手法の開発に関する将来の研究を刺激することを期待しています。 「ユーザーの観点から、この研究は、これらのモデルが動的であり、時間をかけて対話するにつれてその動作が変化し得ることを理解することがいかに重要であるかを浮き彫りにしています。長時間にわたってモデルと会話し、自分の思考を委ね始めると、抜け出せないエコーチェンバーに閉じ込められる可能性があります。これはユーザーが確実に認識すべきリスクです」と、データ・システム・社会研究所（IDSS）の大学院生で、この研究に関する論文の筆頭著者であるショミク・ジェインは述べています。 この論文には、MITの電気工学・計算機科学（EECS）大学院生のシャーロット・パーク、ペンシルベニア州立大学の大学院生マット・ヴィアナ、および共同シニア著者である、EECSのリスター・ブラザーズ キャリア開発准教授でLIDSの主任研究員であるアシア・ウィルソン、そしてペンシルベニア州立大学の助教授であるダナ・カラッチ博士（'23年取得）が参加しています。この研究は、ACM CHI Conference on Human Factors in Computing Systemsで発表されます。 長期にわたる対話 LLMとの自身の追従的な経験に基づき、研究者らは、過度に同調的なモデルの潜在的な利点と結果について考え始めました。しかし、分析を拡張するために文献を検索したところ、長期的なLLM対話中の追従行動を理解しようとした研究は見つかりませんでした。 「私たちはこれらのモデルを長期にわたる対話を通じて使用しており、モデルは多くの文脈と記憶を持っています。しかし、私たちの評価方法は遅れを取っています。人々が実際に使用している方法でLLMを評価し、実世界でどのように振る舞っているかを理解したいと考えました」とカラッチは言います。 このギャップを埋めるため、研究者らは2種類のシコファンシー：同意シコファンシーと視点シコファンシーを探るためのユーザー調査を設計しました。 同意シコファンシーは、LLMが過度に同調的になる傾向であり、時には誤った情報を与えたり、ユーザーに間違いを伝えることを拒否したりする点にまで及びます。視点シコファンシーは、モデルがユーザーの価値観や政治的見解を反映するときに発生します。 「類似または異なる視点を持つ人々との社会的つながりを持つことの利点については多くのことが知られています。しかし、同様の属性を持つAIモデルとの長期にわたる対話の利点やリスクについては、まだわかっていません」とカラッチは付け加えます。 研究者らはLLMを中心としたユーザーインターフェースを構築し、38人の参加者を募集して2週間にわたりチャットボットと会話させました。各参加者の会話は、すべての対話データを捕捉するために同じコンテキストウィンドウ内で行われました。 2週間の期間中、研究者らは各ユーザーから平均90件のクエリを収集しました。 彼らは、このユーザーコンテキストを与えられた5つのLLMの動作と、会話データを与えられていない同じLLMの動作を比較しました。 「文脈はこれらのモデルの動作方法を根本的に変えることを発見しました。そして、この現象はシコファンシーをはるかに超えて広がると私は賭けます。また、シコファンシーは増加する傾向にありましたが、常に増加するわけではありませんでした。それは文脈そのものに大きく依存します」とウィルソンは述べています。 例えば、LLMがユーザーに関する情報を特定のプロファイルに要約すると、同意シコファンシーが最も大きく増加します。このユーザープロファイル機能は、最新のモデルにますます組み込まれつつあります。 また、合成会話からのランダムなテキストも、ユーザー固有のデータを含んでいないにもかかわらず、一部のモデルが同意する可能性を高めることがわかりました。これは、会話の長さが内容よりもシコファンシーに影響を与えることがあることを示唆している、とジェインは付け加えます。 しかし、視点シコファンシーに関しては、内容が非常に重要です。会話の文脈は、ユーザーの政治的視点に関する何らかの情報を明らかにする場合にのみ、視点シコファンシーを増加させました。 この洞察を得るために、研究者らはモデルを注意深くクエリしてユーザーの信念を推論し、その後、各個人にモデルの推論が正しかったかどうかを尋ねました。ユーザーは、LLMが自分の政治的見解を約半分の確率で正確に理解していたと答えました。 「後から見れば、AI企業はこの種の評価を行うべきだと言うのは簡単です。しかし、それは難しく、多くの時間と投資を要します。評価ループに人間を参加させることは費用がかかりますが、それが新たな洞察を明らかにし得ることを私たちは示しました」とジェインは述べています。 彼らの研究の目的は緩和策の提案ではありませんでしたが、研究者らはいくつかの推奨事項を開発しました。 例えば、シコファンシーを減らすために、文脈や記憶の中の関連する詳細をよりよく識別するモデルを設計することができます。さらに、反映行動を検出し、過度の同意を含む応答にフラグを立てるモデルを構築することができます。モデル開発者は、長時間の会話においてユーザーがパーソナライゼーションを調整する能力を与えることもできます。 「モデルを過度に同調させずにパーソナライズする方法はたくさんあります。パーソナライゼーションとシコファンシーの境界は細い線ではありませんが、パーソナライゼーションをシコファンシーから分離することは、将来の重要な研究分野です」とジェインは言います。 「結局のところ、LLMとの長時間の会話中に何が起こり、その長期的なプロセスの中で物事がどのようにずれていくかを捉える、より良い方法が必要です」とウィルソンは付け加えます。 Share this news article on: 論文: 「Interaction Context Often Increases Sycophancy in LLMs」 関連リンク Laboratory for Information and Decision Systems Institute for Data, Systems, and Society Department of Electrical Engineering and Computer Science School of Engineering MIT Schwarzman College of Computing Computer science and technology Artificial intelligence Machine learning Human-computer interaction Laboratory for Information and Decision Systems (LIDS) Electrical

パーソナライゼーション機能はLLMをより協調的にする可能性がある

背景や根拠まで確認しますか？

調べる

選ぶ

サイト