ChatGPTにおける言語的バイアス：言語モデルが方言差別を強化する

異なる英語の種類に対する言語モデルの応答と、母語話者の反応のサンプル。

ChatGPTは英語で人々とコミュニケーションを取ることに驚くほど優れています。しかし、それは誰の英語でしょうか？

ChatGPTユーザーのうち米国出身者はわずか15％であり、そこでは標準アメリカ英語がデフォルトです。しかし、このモデルは、人々が他の種類の英語を話す国やコミュニティでも一般的に使用されています。世界中で10億人以上の人々が、インド英語、ナイジェリア英語、アイルランド英語、アフリカ系アメリカ人英語などの種類を話しています。

これらの「標準的でない」種類の英語を話す人々は、現実世界でしばしば差別に直面しています。彼らの話し方はプロフェッショナルでない、または間違っていると言われ、証人としての信用を傷つけられ、住居を拒否されてきました――すべての言語の種類が等しく複雑で正当であることを示す広範な研究があるにもかかわらずです。誰かの話し方に対して差別することは、しばしばその人種、民族性、または国籍に対する差別の代理手段となります。もしChatGPTがこの差別を悪化させたらどうなるでしょうか？

この疑問に答えるため、私たちの最近の論文では、異なる種類の英語で書かれたテキストに応じてChatGPTの動作がどのように変化するかを調べました。その結果、ChatGPTの応答は、「標準的でない」種類の英語に対して、一貫したかつ広範な偏見を示すことがわかりました。これには、ステレオタイプ化や軽蔑的な内容の増加、理解力の低下、見下したような応答が含まれます。

私たちは、GPT-3.5 TurboとGPT-4に、10種類の英語で書かれたテキストをプロンプトとして与えました。2つの「標準的」な種類、すなわち標準アメリカ英語（SAE）と標準イギリス英語（SBE）、そして8つの「標準的でない」種類、すなわちアフリカ系アメリカ人英語、インド英語、アイルランド英語、ジャマイカ英語、ケニア英語、ナイジェリア英語、スコットランド英語、シンガポール英語です。そして、言語モデルの応答を「標準的」な種類と「標準的でない」種類とで比較しました。

まず、プロンプトに存在するある種類の言語的特徴が、そのプロンプトに対するGPT-3.5 Turboの応答において保持されるかどうかを知りたいと考えました。私たちは、プロンプトとモデルの応答を、各種類の言語的特徴と、アメリカ式またはイギリス式のスペル（例：「colour」や「practise」）を使用しているかどうかについて注釈付けしました。これは、ChatGPTがいつある種類を模倣し、いつ模倣しないのか、そしてどのような要因が模倣の程度に影響を与える可能性があるのかを理解するのに役立ちます。

次に、各種類の英語の母語話者に、モデルの応答を様々な質について評価してもらいました。ポジティブなもの（温かみ、理解度、自然さなど）とネガティブなもの（ステレオタイプ化、軽蔑的な内容、見下しなど）の両方です。ここでは、元のGPT-3.5の応答に加えて、モデルに入力のスタイルを模倣するように指示した場合のGPT-3.5とGPT-4の応答も含めました。

私たちは、ChatGPTがデフォルトで標準アメリカ英語を生成すると予想していました。このモデルは米国で開発され、標準アメリカ英語はそのトレーニングデータにおいて最もよく代表されている種類である可能性が高いからです。実際、モデルの応答は、いかなる「標準的でない」方言よりもはるかに多く（60％以上の差で）SAEの特徴を保持していることがわかりました。しかし驚くべきことに、モデルは他の種類の英語も模倣します。ただし一貫性はありません。実際、話者が少ない種類（ジャマイカ英語など）よりも、話者が多い種類（ナイジェリア英語やインド英語など）の方をより頻繁に模倣します。これは、トレーニングデータの構成が、「標準的でない」方言に対する応答に影響を与えていることを示唆しています。

ChatGPTはまた、非アメリカ人ユーザーを苛立たせる可能性のある方法で、アメリカの慣習をデフォルトとしています。例えば、イギリス式スペル（米国以外のほとんどの国ではデフォルト）を含む入力に対するモデルの応答は、ほぼ普遍的にアメリカ式スペルに戻ります。これは、ChatGPTユーザーベースのかなりの部分が、ChatGPTがローカルの書き方の慣習に適応することを拒否することによって、妨げられている可能性があることを意味します。

モデルの応答は、「標準的でない」種類に対して一貫して偏見を示しています。デフォルトのGPT-3.5の応答は、「標準的でない」種類に対して一貫して、一連の問題を示します。ステレオタイプ化（「標準的」な種類より19％悪い）、軽蔑的な内容（25％悪い）、理解の欠如（9％悪い）、見下したような応答（15％悪い）です。

モデルの応答に対する母語話者の評価。「標準的でない」種類に対する応答（青）は、「標準的」な種類に対する応答（オレンジ）と比較して、ステレオタイプ化（19％悪い）、軽蔑的な内容（25％悪い）、理解度（9％悪い）、自然さ（8％悪い）、見下し（15％悪い）の点でより悪いと評価されました。

GPT-3.5に入力方言を模倣するように促すと、その応答はステレオタイプ的な内容（9％悪化）と理解の欠如（6％悪化）を悪化させます。GPT-4はGPT-3.5よりも新しく、より強力なモデルなので、GPT-3.5よりも改善されていることを期待したいところです。しかし、入力の模倣を行うGPT-4の応答は、温かみ、理解度、親しみやすさの点でGPT-3.5よりも改善されているものの、ステレオタイプ化を悪化させています（マイノリティの種類に対してGPT-3.5より14％悪い）。これは、より大きく、より新しいモデルが自動的に方言差別を解決するわけではないことを示唆しています。実際、それを悪化させる可能性さえあります。

ChatGPTは、「標準的でない」種類の英語を話す人々に対する言語的差別を永続させる可能性があります。これらのユーザーがChatGPTに自分たちを理解させるのに苦労するなら、彼らがこれらのツールを使用することはより難しくなります。AIモデルが日常生活でますます使用されるようになるにつれて、これは「標準的でない」種類の英語を話す人々に対する障壁を強化することになりかねません。

さらに、ステレオタイプ化や軽蔑的な応答は、「標準的でない」種類の英語を話す人々はより正しく話せず、尊重に値しないという考えを永続させます。言語モデルの使用が世界的に増加するにつれて、これらのツールは権力関係を強化し、マイノリティの言語コミュニティに害を及ぼす不平等を増幅するリスクがあります。

詳細はこちら: [ 論文 ]