ユーザーの感情を考慮するAIモデルは誤りやすいという研究結果
本文の状態
日本語全文を表示中
詳細モードで約2分の本文を読めます。
同じ出来事の情報源
この情報源を基点に整理
Ars Technica AI
オックスフォード大学インターネット研究所の研究チームが、自然言語処理モデルに「温かみのある」トーンで応答するよう訓練すると、真実性とのバランスが崩れ、誤回答が増える傾向があることをNature誌で発表した。
Continue in AI NEW LAB
このニュースを、実務の判断につなげる
AI NEW LABで、試したことや先に確認したい条件を共有できます。まずはログインなしで読めます。
AI NEW LABで論点を見るSource Article
元記事を日本語で読む
本文に関係しない購読案内、埋め込み通知、サイト内プロモーションは除いています。
人間同士のコミュニケーションにおいて、共感的であったり丁寧であったりする欲求は、真実を伝える必要性としばしば対立します。そのため、「相手の気持ちを傷つけないために真実を優先する」状況では「残酷なまでの正直さ」といった表現が使われます。さて、新しい研究によると、大規模言語モデルも、ユーザーに対してより「温かみのある」トーンで提示するように特別に訓練された場合、同様の傾向を示すことがあることが示唆されています。
今週『ネイチャー』誌に掲載された新しい論文において、オックスフォード大学インターネット研究所の研究者たちは、特別に調整された AI モデルは、必要に応じて「絆を維持し対立を避けるため」に困難な真実を時折「和らげる」という人間の傾向を模倣する傾向があることを発見しました。また、これらの温かみのあるモデルは、ユーザーが悲しいと感じていると伝えた場合、特にそのユーザーの誤った信念を検証・肯定する可能性が高いことも研究者らは見出しています。
AI にどのように「温かみ」を感じさせるのか？
本研究において、研究者たちは言語モデルの「温かさ」を、「その出力がユーザーにポジティブな意図を推測させ、信頼性、親しみやすさ、社交性を示す度合い」として定義しました。これらの言語パターンの効果を測定するため、研究者らは教師あり微調整（supervised fine-tuning）技術を用いて、4 つのオープンウェイトモデル（Llama-3.1-8B-Instruct, Mistral-Small-Instruct-2409, Qwen-2.5-32B-Instruct, Llama-3.1-70BInstruct）と 1 つのプロプライエタリモデル（GPT-4o）を修正しました。
記事全文を読む
コメント
原文を表示
In human-to-human communication, the desire to be empathetic or polite often conflicts with the need to be truthful—hence terms like “being brutally honest” for situations where you value the truth over sparing someone’s feelings. Now, new research suggests that large language models can sometimes show a similar tendency when specifically trained to present a "warmer" tone for the user.
In a new paper published this week in Nature, researchers from Oxford University’s Internet Institute found that specially tuned AI models tend to mimic the human tendency to occasionally “soften difficult truths” when necessary “to preserve bonds and avoid conflict.” These warmer models are also more likely to validate a user's expressed incorrect beliefs, the researchers found, especially when the user shares that they're feeling sad.
How do you make an AI seem “warm”?
In the study, the researchers defined the "warmness" of a language model based on "the degree to which its outputs lead users to infer positive intent, signaling trustworthiness, friendliness, and sociability." To measure the effect of those kinds of language patterns, the researchers used supervised fine-tuning techniques to modify four open-weights models (Llama-3.1-8B-Instruct, Mistral-Small-Instruct-2409, Qwen-2.5-32B-Instruct, Llama-3.1-70BInstruct) and one proprietary model (GPT-4o).
Read full article
Comments
関連記事
今日のまとめ
AIデイリーブリーフで今日の重要ニュースをまとめ読み