研究：AIチャットボットは脆弱なユーザーに精度の低い情報を提供

研究：AIチャットボットは脆弱なユーザーに精度の低い情報を提供する プレスお問い合わせ プレス連絡先: 閉じる ![](/sites/default/files/styles/news_article__image_gallery/public/images/202602/ai-chatbot-paper-presentation-00.png?itok=YV20iQ4O) キャプション：エリノア・プール＝ダヤンが、シンガポールで開催された第40回AAAI人工知能国際会議で自身の研究を発表している様子。クレジット：写真：クレイトン・コーン 前の画像 次の画像 大規模言語モデル（LLM）は、ユーザーの背景や所在地に関わらず、使いやすいインターフェースで知識を提供し、世界中の情報アクセスを民主化するツールとして称賛されてきた。しかし、MIT建設的コミュニケーションセンター（CCC）による新たな研究は、これらの人工知能システムが、最も恩恵を受ける可能性のあるユーザーに対して、実際にはパフォーマンスが低下する可能性があることを示唆している。 MITメディアラボに拠点を置くCCCの研究者らが実施した研究によると、最先端のAIチャットボット（OpenAIのGPT-4、AnthropicのClaude 3 Opus、MetaのLlama 3を含む）は、英語力が低い、正規の教育をあまり受けていない、または米国外出身のユーザーに対して、精度や真実性が低い回答を提供することがあることがわかった。また、これらのモデルは、こうしたユーザーからの質問に対して、より高い頻度で回答を拒否し、場合によっては見下したような、または恩着せがましい言葉遣いで応答することもあった。 「私たちは、LLMが世界中の不公平な情報アクセシビリティ問題の解決に役立つ可能性に動機づけられました」と、筆頭著者でMITスローン経営大学院の技術アソシエイト（2025年修士課程修了予定）であり、CCCのアフィリエイトおよびメディアアーツ＆サイエンスの修士課程学生としてこの研究を主導したエリノア・プール＝ダヤンは述べる。「しかし、言語、国籍、その他の人口統計学的属性に関わらず、すべてのユーザーに対してモデルのバイアスや有害な傾向が安全に緩和されなければ、そのビジョンは実現できません。」 この研究を記述した論文「LLM Targeted Underperformance Disproportionately Impacts Vulnerable Users」は、1月に開催されたAAAI人工知能国際会議で発表された。 複数の次元にわたる体系的な低パフォーマンス この研究のために、チームは3つのLLMが2つのデータセット（TruthfulQAとSciQ）からの質問にどのように応答するかをテストした。TruthfulQAはモデルの真実性（現実世界に関する一般的な誤解や文字通りの真実に依存して）を測定するように設計されており、SciQは事実の正確性をテストする科学試験問題を含んでいる。研究者らは各質問の前に短いユーザーの経歴を付け加え、3つの特性（教育レベル、英語力、出身国）を変化させた。 3つのモデルすべておよび両方のデータセットにおいて、研究者らは、正規の教育をあまり受けていない、または英語を母語としないと記述されたユーザーからの質問に対して、精度が著しく低下することを発見した。この影響は、これらのカテゴリーが交差するユーザー、すなわち正規の教育をあまり受けておらず、かつ英語を母語としないユーザーに対して最も顕著であり、回答の質が最大の低下を見せた。 研究ではまた、出身国がモデルのパフォーマンスにどのように影響するかを検証した。米国、イラン、中国出身の同等の教育背景を持つユーザーをテストした結果、特にClaude 3 Opusは、両方のデータセットにおいてイラン出身のユーザーに対して著しくパフォーマンスが悪いことがわかった。 「英語を母語とせず、かつ教育レベルが低いユーザーに対して、精度の最大の低下が見られます」と、CCCのリサーチサイエンティストで論文の共著者であるジャド・カバラは言う。「これらの結果は、これらのユーザー特性に関連するモデルの振る舞いの悪影響が懸念すべき方法で複合していることを示しており、そのようなモデルが大規模に展開されると、有害な振る舞いや誤情報を、それを識別する能力が最も低い人々に下流へと拡散させるリスクがあることを示唆しています。」 回答拒否と見下した言葉遣い おそらく最も印象的だったのは、モデルが質問に全く答えようとしない頻度の違いだった。例えば、Claude 3 Opusは、教育レベルが低く、英語を母語としないユーザーからの質問のほぼ11％に対して回答を拒否したのに対し、ユーザー経歴がない対照条件ではわずか3.6％だった。 研究者らがこれらの拒否を手動で分析したところ、Claudeは、教育レベルの低いユーザーに対して、見下した、恩着せがましい、または嘲笑するような言葉遣いで応答する割合が43.7％にのぼったのに対し、教育レベルの高いユーザーでは1％未満であることがわかった。場合によっては、モデルはブロークンな英語を真似たり、誇張された方言を採用したりしていた。 また、このモデルは、イランやロシア出身の教育レベルの低いユーザーに対して、原子力、解剖学、歴史的出来事など特定のトピックに関する情報提供を拒否したが、他のユーザーには同じ質問に正しく答えていた。 「これは、モデルが明らかに正しい答えを知っていて他のユーザーには提供しているにもかかわらず、特定のユーザーに誤って情報を提供するのを避けるために、情報を保留するようモデルにインセンティブを与える可能性があることを示す別の指標です」とカバラは言う。 人間のバイアスとの類似点 この発見は、人間の社会認知的バイアスの文書化されたパターンを反映している。社会科学の研究によると、英語を母語とする話者は、実際の専門知識に関わらず、非ネイティブスピーカーを教育レベル、知性、能力が低いと認識することが多い。同様の偏った認識は、非ネイティブの英語を話す生徒を評価する教師の間でも文書化されている。 「大規模言語モデルの価値は、個人によるその並外れた採用と、この技術に流れ込む巨額の投資によって明らかです」と、メディアアーツ＆サイエンス教授、CCCディレクター、論文の共著者であるデブ・ロイは述べる。「この研究は、これらのシステムにこっそりと入り込み、私たちの誰も完全に気づかないうちにあるグループに不当な害を及ぼす体系的なバイアスを継続的に評価することがいかに重要であるかを思い起こさせてくれます。」 この影響は、ChatGPTのMemory（会話をまたいでユーザー情報を追跡する）のようなパーソナライゼーション機能がますます一般的になっていることを考えると、特に懸念される。そのような機能は、すでに疎外されているグループを差別的に扱うリスクがある。 「LLMは、より公平な情報アクセスを促進し、パーソナライズド学習を革命化するツールとして市場に出されてきました」とプール＝ダヤンは言う。「しかし、私たちの発見は、LLMが特定のユーザーに対して体系的に誤情報を提供したり、質問に答えようとしなかったりすることで、実際には既存の不平等を悪化させる可能性があることを示唆しています。これらのツールに最も依存する可能性のある人々が、標準以下の、誤った、あるいは有害な情報を受け取る可能性があります。」 このニュース記事を共有する： 論文：「LLM Targeted Underperformance Disproportionately Impacts Vulnerable Users」 関連リンク エリノア・プール＝ダヤン 建設的コミュニケーションセンター 建築・計画スクール MITスローン経営大学院 人工知能 機械学習 建築・計画スクール MITスローン経営大学院 関連記事 研究：一部の言語報酬モデルは政治的バイアスを示す ![](/sites/default/files/styles/news_article__archive/public/images/202411/single-truthful-reward.png?itok=EBo_Jbaj)

研究：AIチャットボットは脆弱なユーザーに精度の低い情報を提供

背景や根拠まで確認しますか？

調べる

選ぶ

サイト

背景や根拠まで確認しますか？

ニュースの次に確認する

調べる

選ぶ

サイト