大規模言語モデルが私たちの文章表現を歪める理由
UC バークレーや Google DeepMind などの研究チームが、LLM が文章の結論や主張のスタンスを意図せず歪める現象を実証し、その深刻な影響を明らかにした。
キーポイント
意味の歪曲とスタンスの変化
LLM は効率性を高める一方で、文章の結論を変更したり、元の主張のスタンスや論理タイプを変えてしまうことが実証された。
多角的なデータセットによる検証
人間のユーザー調査、議論的エッセイのデータセット、および主要な機械学習カンファレンスのレビューという 3 つの異なるデータセットを用いて分析が行われた。
LLM 特有の文体への認識
多くのユーザーが LLM の文章に特有の「雰囲気」を感じ取っているが、その意味内容がどのように歪められているかは十分に認識されていない。
影響分析・編集コメントを表示
影響分析
この研究は、LLM が「書き手」から「編集者」へと役割をシフトさせる過程で、意図しない意味変容を引き起こすという重大なリスクを浮き彫りにしました。企業や研究者が LLM を活用してコンテンツを作成する際、生成されたテキストの論理的整合性を人間が再検証するプロセスの重要性がさらに高まります。
編集コメント
LLM の「効率性」というメリットが、実は「意味の正確性」というコストを伴っていることを示唆する重要な研究です。生成されたテキストをそのまま信頼せず、論理構造の監査体制を強化すべき時期に来ています。
##
マルワ・アブドゥハイ (Marwa Abdulhai), イザドラ・ホワイト (Isadora White), ヤンミン・ワン (Yanming Wan), イブラヒム・クレスヒ (Ibrahim Qureshi),
ジョエル・Z・レイボ (Joel Z. Leibo), マックス・クレイマン＝ウィナー (Max Kleiman-Weiner), ナターシャ・ジャクス (Natasha Jaques)
UC バークレー, UC サンディエゴ, ワシントン大学, ザイトゥナ・カレッジ, Google DeepMind
論文 | コード
エグゼクティブ・サマリー
大規模言語モデル (LLM) は世界中で 10 億人以上に利用されており、最も頻繁な使用ケースは文章作成の支援です。LLM は劇的な効率向上をもたらしますが、実際に私たちが望む内容を記述できているのでしょうか？
多くのユーザーが LLM の文章特有の「雰囲気」を認識していますが、LLM が文章の意味をどの程度歪曲しているかについては、ほとんど知られていません。本研究では、人間によるユーザー調査データセット、人間の議論的エッセイからなるデータセット、およびトップクラスの機械学習カンファレンスからのレビューという 3 つのデータセットにおいて、この現象を確認しました。
主な発見
- LLM は文章の結論を変え、立場や議論の種類さえも変化させる
- 人間のユーザーは、声と創造性の統計的に有意な喪失を報告しながらも満足しているというパラドックスを報告する
- LLM は文法修正のみを指示された場合でも、人間による編集よりも大きな意味論的シフトをもたらす
- これらのシフトは私たちの制度にも及ぶ：国際学習表現会議（2026 年）というトップ AI 学会における LLM レビューでは、受理と却下の理由が著しく異なっており、AI 生成と判別されたピアレビューの 21% は、科学的基準において著しく異なる焦点を当てていた。
なぜ私たちはこれを気にする必要があるのか？
LLM が社会に統合されるにつれて、意味におけるこれらの微妙な変化は、政治、文化、科学、さらには友人や家族とのコミュニケーションの方法さえも根本的に変える可能性がある。本研究は議論的執筆に焦点を当てているが、その知見は多くの他の種類の文章やコミュニケーションにも一般化され得る。
LLM が人間の文章を修正する際、人間が同じエッセイを編集する場合とは大きく異なる、大規模な均質化変化を引き起こします。
この図は、LLM がテキストをどのように編集するかを、人間がどのように編集するかと比較した反事実的分析を示しています。左上の灰色の図は、専門家のフィードバックを受けた際に、人間が初稿のエッセイにどのような修正を加えるかを示しています。初稿は薄い灰色の点として示され、専門家のフィードバックに基づく修正後の第 2 草案（濃い灰色）への矢印で結ばれています。これは MiniLM-L6 の意味的埋め込み空間を用いて可視化され、PCA で投影されています。残りのパネルは、LLM が専門家のフィードバックと一連のプロンプトを指示された際に、元の人間が書いたエッセイをどのように編集するかを示しています。LLM に最小限の修正しか行わないよう指示されているにもかかわらず、すべてのエッセイに大規模な変化が生じ、それらが人間の書き方から一貫して遠ざかる方向へ移動していることがわかります。
上記は、ArgRewrite-v2 データセットから抽出されたエッセイにおいて、LLM を用いて文章を作成することが結論を歪め、人間の声を排除する様子を示す直感的な例です。
以下に、私たちの結果でこれをより詳細に説明します。
方法論とデータセット
私たちは、3 つのデータセットを用いて、LLM が私たちが書く言語の意味をどのように歪めるかを研究しています。
人間ユーザー調査：人間が執筆時に LLM をどのように使用しているかを理解するため、LLM 利用可能な 55 名のユーザーと、LLM にアクセスできない 45 名のユーザーを対象に人間ユーザー調査を実施しました。多くの人間ユーザーがセッション中に LLM の使用を控えることを選んだため、結果はこれらの選択に基づいて条件付けられ、2 つのグループに分けられました。すなわち、「LLM 影響下」グループ（LLM を使用しなかったか、情報検索目的でのみ使用した人々）と、「LLM」グループ（広範に利用する人々）です。評価や分析を実行する前に、転記内容、最終論文、および自己報告された利用スコアを観察することで、事前にこれらのグループへ分類しました。
ArgRewrite-v2: 2021 年（LLM の普及以前）に収集された 86 編の人間執筆論文からなるデータセットを用い、3 つの商用 LLM（gpt-5-mini, gemini-2.5-flash, claude-haiku）に対して、5 つの修正タイプ（一般修正、最小限の編集、文法編集、補完、拡張）にわたる論文の編集をプロンプトしました。LLM 生成ドラフトと人間による修正稿を、意味論、語彙使用、品詞分布、感情的トーン、および文体的特徴という次元で比較します。
ICLR 2026 レビュー分析：ICLR 2026 の査読レビュー 18,000 件を分析し、完全に人間が執筆したレビューと完全に LLM が生成したレビューの両方を持つ論文を選択しました。各レビューで指摘された強みと弱みを特定するために「LLM-as-a-Judge（審査員としての LLM）」分類器を使用し、人間と LLM が付与したスコアを比較します。
大規模言語モデル（LLM）の活発な利用者からは、自分のエッセイがもはや自分自身の声を反映していないという報告が上がっています。
これは、利用者が満足感を報告する一方で、創造性と個性の著しい喪失を訴えるという、好意に関するパラドックスを示しています。
RLHF（人間フィードバックによる強化学習）は好意の最適化を目指しますが、これだけでは創造性や意味論的整合性を維持するには不十分です。
LLM は、エッセイを共通の意味論的方向へとシフトさせることで、文章表現を歪曲させます。
- コントロールグループの人間が執筆したエッセイは、埋め込み空間全体に広く散在しており、個々の視点、文章スタイル、論証の多様性を反映した広範な領域を占めています。
- LLM によって作成されたエッセイは、人間の執筆によるエッセイが一切存在しない領域において、きわめて密なクラスターを形成しています。LLM による改訂は、共通の方向に強く整合する大きな意味論的シフトを生み出し、これまで人間の執筆によるエッセイが存在しなかった空間の領域へと移動させます。
- これは、LLM が人間のエディターとは異なる方法で意味論を変化させていることを明確に示す証拠です。
LLM は文章の結論を変容させる。
LLM ユーザーが執筆したエッセイは、著しく中立的であり、「お金は幸福をもたらすか？」という問いに対して決定的な立場を取ることを避けていました。
これは論証におけるスタンスの根本的な変化を意味します。
LLM は人間よりもはるかに大規模な語彙的変更を行います。
LLM の編集は、人間の編集と比較して、エッセイで使用される単語を大幅に変える
各作家固有の語彙指紋が、LLM が好む語彙によって上書きされる。
LLM は文法を体系的に再構築し、より個人的でなく形式的なスタイルへと向ける。
LLM はより形式的な書き方を採用し、名詞と形容詞の使用を増やし、代名詞の使用を減らす。これは、第一人称や経験に基づく議論から、無人格的な言語への移行を示している。
文章作成における LLM の使用は、感情的な言語の使用を増加させる。
LLM による編集と人間の編集を比較すると、ネガティブおよびポジティブの両方の感情において、感情的な言語が大幅に増加していることがわかる。
驚くべきことに、これは最小限の変更を行うよう指示された場合や、専門家のフィードバックがある場合でも発生する。
LLM（大規模言語モデル）の文章作成への利用は、分析的・論理的・統計的な言語の使用を増加させる。
- 左側：ArgRewrite-v2 の LLM による編集に対する LIWC 分析では、形式的・論理的・階層的な思考パターンの度合いが増加していることが示されている
- 右側：ユーザー調査において、人間は個人的経験に関連する主張を使用する傾向が強い一方、LLM が作成した論文では統計的・論理的な主張が使われる可能性が高い。また、LLM の影響を受けた論文では専門家の意見が引用されるが、これは人間が書いた論文ではほとんど見られない。
LLM は科学機関に影響を与える意思決定を歪曲する。
LLM が科学的審査プロセスに採用されると、人間よりも 10% 高いスコアを付与する。人間は明確さを強みとしてコメントする可能性が 32% 高く、弱みとしてコメントする可能性が 58% 高く、研究の関連性についてコメントする可能性も 32% 高い一方、LLM は再現性についてコメントする可能性が 136% 高く、スケーラビリティ（拡張性）についても強み・弱みの両方でコメントする可能性が 84% 高い。
人間と LLM の審査における評価基準の違いは、どの科学的作業が有効でありインセンティブを与えるべきかという意思決定に影響を及ぼす可能性がある。
結論
これらの結果は、AI が私たちの言語やそれを通じて文化機関を微妙に歪曲しているという懸念すべき状況を提示する。
- AI 生成コンテンツは議会の演説、歌詞、映画の脚本、口語、そして同僚や愛する人へ送るメッセージさえも侵入している。どのようなコンテンツが優先されるのか？
- AI に強く依存する人々はそれが自身の声と創造性を損なうことを認識しながらも、結果に対しては依然として同等に満足している。
- 使いやすさと個人のキャリア加速の可能性を組み合わせることで、ICLR のデータが示すように、人々が AI 生成テキストを生産し続けるインセンティブとなり、さらには専門的な文脈においてそれを自分のものとして偽装しようとする試みも続く可能性が高い。
@misc{abdulhai2026llmdistort,
title= Hw LLMs Distort Our Written Language},
author={Abdulhai, Marwa and White,
Isadora and Wan, Yanming and Qureshi,
Ibrahim and Leibo, Joel Z. and Kleiman-Weiner, Max
and Jaques, Natasha},
year={2026}}
原文を表示
##
Marwa Abdulhai, Isadora White, Yanming Wan, Ibrahim Qureshi,
Joel Z. Leibo, Max Kleiman-Weiner, Natasha Jaques
UC Berkeley, UC San Diego, University of Washington, Zaytuna College, Google DeepMind
Paper | Code
Executive Summary
LLMs are used by over a billion people globally, and the most frequent use case is to assist with writing. LLMs can provide a huge efficiency boost, but are they actually writing what we want?
Many users recognize the "feel" of LLM prose, but few people realize the extent to which LLMs distort the meaning of writing. We find this across three datasets: a human user study, a dataset of human argumentative essays, and reviews from a top machine learning conference.
Main Findings
- LLMs change the conclusions of writing, changing the stance as well as the argument type
- Human users report a paradox of preferences, being satisfied while reporting a statistically significant loss of voice and creativity
- LLMs introduce larger semantic shifts than human edits do, even when prompted only to introduce grammar edits
- These shifts apply even to our institutions: LLM reviews gave significantly different reasons for acceptance and rejection at the International Conference of Learning Representations (2026), a top AI conference, the 21% of peer reviews that were found to be AI-generated focused on significantly different scientific criteria.
Why should we care?
As LLMs are integrated into society, these subtle changes in meaning could fundamentally alter politics, culture, science, and even the way we communicate with our friends and family. Our study focuses on argumentative writing, but our findings may generalize to many other forms of writing and communication as well.
When LLMs revise human writing, they induce large homogenizing changes very unlike how people would have edited the same essay.
This figure shows a counterfactual analysis, comparing how LLMs edit a piece of text to how a person would. The upper left grey figure shows how people make edits to a first draft essay when they receive expert feedback. The first draft is shown as a light grey dot, with an arrow to the dark grey second draft, visualized using the MiniLM-L6 semantic embedding space and projected with PCA. The remaining panels show how an LLM edits the original human-written essay, when it is prompted with the expert feedback and a series of prompts. Even when the LLM is instructed to make minimal edits, we see that it induces large changes to all the essays, moving them in a consistent direction away from how humans write.
Above is an intuitive an example of how writing with an LLM alters the conclusions and removes the humans voice in essays from ArgRewrite-v2 dataset.
We illustrate this more extensively in our results below.
Methodology & Datasets
We study how LLMs distort meaning in our written language in three datasets.
Human User Study: To understand how humans use LLMs while writing, we conduct a human user study, with 55 users enabled to use the LLM and 45 without access to the LLM. Since many human users chose to abstain from LLM use during their session, we condition our results on this choice and split into two groups: LLM-Influenced, for those who chose not to use or use only for information seeking, and LLM, the group of extensive users. We split them into these groups a priori, by observing their transcripts, final essays, and their self-reported usage score, before evaluating and running our analyses.
ArgRewrite-v2: Using a dataset of 86 human-written essays collected in 2021 — before the widespread release of LLMs — we prompted three production LLMs (gpt-5-mini, gemini-2.5-flash, claude-haiku) to edit essays across five revision types: general revision, minimal edits, grammar edits, completion, and expansion. We compare LLM-generated drafts to human-written revisions along dimensions of semantics, lexical usage, part-of-speech distributions, emotional tone, and stylistic features.
ICLR 2026 Review Analysis: We analyze 18k peer reviews from ICLR 2026, selecting papers with one entirely human-written review and one entirely LLM-generated review. We use an LLM-as-a-Judge classifier to identify the strengths and weaknesses cited in each review and compare scores assigned by humans vs. LLMs.
Heavy LLM users report that their essays do not reflect their own voice.
This presents a paradox of preferences where the user reports satisfaction, but report a significant loss in creativity and voice.
RLHF optimizes for preferences, but this is not sufficient for maintaining creativity and semantics.
LLMs distort writing by shifting essays in a common semantic direction.
- Essays written by humans in the control group are widely spread out throughout the embedding space, occupying a broad region that reflects the diversity of individual perspectives, writing styles, and argumentation.
- Essays written by LLMs form a tight cluster in a region that is not occupied by any of the human-written essays. LLM revisions produce large semantic shifts strongly aligned in a common direction, and to a region of space not previously occupied by any human-written essay.
- This provides clear evidence that LLMs are shifting semantics in a way human editors do not.
LLMs Alter the Conclusions of Written Language.
LLM users wrote essays that were significantly more neutral and avoided taking a definitive stance on the question "Does money lead to happiness?".
This represents a fundamental shift in argument stance.
LLMs make substantially larger lexical changes than humans.
LLM edits substantially alter the words used in an essay compared to human edits
The unique lexical fingerprint of each writer is overwritten by the LLM's preferred vocabulary.
LLMs Systematically Restructure Grammar Toward a Less Personal, Formal Style.
LLMs adopt a more formal style of writing, increasing the use of nouns and adjectives, and decreasing the use of pronouns, signifying a removal of first-person, experience-based argumentation toward impersonal language.
The Use of LLMs for Writing Increases Emotional Language.
We see a substantial increase in emotional language across both negative and positive emotions when comparing LLM edits to human edits.
Surprisingly, this occurs even when prompted to make minimal changes and with expert feedback.
The Use of LLMs for Writing Increases Analytical, Logical, and Statistical Language.
- Left: LIWC analysis on ArgRewrite-v2 edits from LLMs show increase in degree of formal, logical, and hierarchical thinking patterns
- Right: In the user study, we find that people are more likely to use arguments related to personal experience, while LLM-written essays are more likely to use statistical and logical arguments. LLM-influenced essays also cite expert opinions, something that human-written essays rarely do.
LLMs distort decisions affecting scientific institutions.
When LLMs are employed in the scientific review process, LLMs assign scores 10% higher than humans. Humans are 32% more likely to comment on the clarity as a strength, 58% more likely to comment on clarity as a weaknesses, and 32% more likely to comment on the relevance of research, while LLMs are 136% more likely to comment on reproducibility and 84% more likely to comment on scalability for both strengths and weaknesses.
Differences in evaluation criteria between human and LLM reviews may impact decisions made about what scientific work is valid and incentivized.
Conclusions
These results present a troubling picture of AI subtly distorting our written language, and with it, our cultural institutions.
- AI-generated content has infiltrated parliamentary speeches, song lyrics, movie scripts, spoken language, and even messages we send to our coworkers and loved ones. What kind of content is prioritized?
- Even though people who rely heavily on AI recognize that it diminishes their voice and creativity, they are nevertheless equally satisfied with the results.
- The ease of use, combined with the potential to accelerate individual careers, is likely to continue to incentivize people to produce AI-generated text, and even to attempt to pass it off as their own in professional contexts, as the ICLR data shows.
@misc{abdulhai2026llmdistort,
title= Hw LLMs Distort Our Written Language},
author={Abdulhai, Marwa and White,
Isadora and Wan, Yanming and Qureshi,
Ibrahim and Leibo, Joel Z. and Kleiman-Weiner, Max
and Jaques, Natasha},
year={2026}}
関連記事
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み