大規模言語モデルに隠されたバイアス、気分、性格、抽象概念を暴く

プレス問い合わせ プレス連絡先: 閉じる ![](/sites/default/files/styles/news_article__image_gallery/public/images/202602/MIT-LLM-Bias-01_0.gif?itok=rcbHJN69) キャプション: 大規模言語モデルに隠れたバイアス、人格、気分、その他の抽象的概念が含まれているかどうかをテストする新しい方法。クレジット: Credit: Christine Daniloff, MIT; iStock 前の画像 次の画像 今やChatGPT、Claude、その他の大規模言語モデルは、人間の知識をこれほど蓄積した結果、単なる回答生成器からは程遠い存在となっている。それらはまた、特定の口調、人格、バイアス、気分といった抽象的概念も表現できる。しかし、これらのモデルが、含まれている知識からどのようにして抽象的概念を表現し始めるのかは、明らかではない。 現在、MITとカリフォルニア大学サンディエゴ校のチームは、大規模言語モデル（LLM）に隠れたバイアス、人格、気分、その他の抽象的概念が含まれているかどうかをテストする方法を開発した。彼らの方法は、モデル内で関心のある概念を符号化する接続に的を絞ることができる。さらに、この方法はその後、これらの接続を操作、つまり「操縦」して、モデルに生成を促されたあらゆる回答において、その概念を強化または弱めることができる。 チームは、彼らの方法が、現在使用されている最大級のLLMのいくつかにおいて、500以上の一般的な概念を素早く探し出し、操縦できることを証明した。例えば、研究者らは「ソーシャルインフルエンサー」や「陰謀論者」といった人格や、「結婚への恐怖」や「ボストンのファン」といったスタンスなど、モデルの表現に的を絞ることができた。そして、モデルが生成するあらゆる回答において、これらの概念を強化したり最小限に抑えたりするために、これらの表現を調整することができた。 「陰謀論者」という概念の場合、チームは今日利用可能な最大級のビジョン言語モデルの一つにおいて、この概念の表現を特定することに成功した。彼らがその表現を強化し、その後、モデルにアポロ17号から撮影された有名な地球の画像「ブルーマーブル」の起源を説明するよう促すと、モデルは陰謀論者の口調と視点を持った回答を生成した。 チームは、特定の概念を抽出することにはリスクがあることを認めている（彼らはそれも例示し、警告している）。しかし全体的には、彼らはこの新しいアプローチを、LLMに隠れた概念と潜在的な脆弱性を明らかにする方法として捉えている。それらはその後、モデルの安全性を向上させたり、性能を高めたりするために、上げたり下げたりすることができる。 「これがLLMについて本当に示していることは、それらはこれらの概念を持っているが、すべてが積極的に表面化しているわけではないということです」と、MITの数学科助教授であるAdityanarayanan "Adit" Radhakrishnanは言う。「私たちの方法を使えば、これらの異なる概念を抽出し、プロンプトだけでは答えを得られない方法でそれらを活性化する方法があります」 チームは彼らの発見を本日、科学誌『Science』に掲載された研究論文で発表した。研究の共著者には、Radhakrishnan、カリフォルニア大学サンディエゴ校のDaniel BeagleholeとMikhail Belkin、そしてペンシルベニア大学のEnric Boix-Adseràが含まれる。 ブラックボックスの中の魚 OpenAIのChatGPT、GoogleのGemini、AnthropicのClaude、その他の人工知能アシスタントの使用が爆発的に増加する中、科学者たちはモデルが「幻覚」や「欺瞞」といった特定の抽象的概念をどのように表現するかを理解するために競争している。LLMの文脈において、幻覚とは、モデルが「幻覚を見た」、つまり事実として誤って構築した、虚偽または誤解を招く情報を含む応答のことである。 「幻覚」のような概念がLLMに符号化されているかどうかを調べるために、科学者たちはしばしば「教師なし学習」というアプローチを取ってきた。これは、アルゴリズムがラベルのない表現を広く探索し、「幻覚」のような概念に関連する可能性のあるパターンを見つける、機械学習の一種である。しかしRadhakrishnanにとって、そのようなアプローチは広すぎ、計算コストがかかりすぎる可能性がある。 「それは、一種類の魚を捕まえようと大きな網で漁に行くようなものです。正しい魚を見つけるために調べなければならないたくさんの魚を捕まえることになります」と彼は言う。「代わりに、私たちは正しい種類の魚のための餌を持って行きます」 彼と彼の同僚は以前、再帰的特徴機械（RFM）として知られる一種の予測モデリングアルゴリズムを用いて、より的を絞ったアプローチの基礎を開発していた。RFMは、ニューラルネットワーク（LLMを含むAIモデルの広範なカテゴリ）が特徴を学習するために暗黙的に使用する数学的メカニズムを活用することによって、データ内の特徴やパターンを直接識別するように設計されている。 このアルゴリズムは一般的に特徴を捉えるための効果的で効率的なアプローチだったため、チームは、それを用いて、はるかに広く使用されているがおそらく最も理解されていないニューラルネットワークの一種であるLLMにおける概念の表現を探し出せるかどうか疑問に思った。 「私たちは、これらの大規模で複雑なモデルにおける概念の表現を、的を絞って発見するために、特徴学習アルゴリズムをLLMに適用したいと考えました」とRadhakrishnanは言う。 概念への収束 チームの新しいアプローチは、LLM内の任意の関心のある概念を特定し、この概念に基づいてモデルの応答を「操縦」または誘導する。研究者らは5つのクラス内の512の概念を探した：恐怖（結婚、昆虫、さらにはボタンへの恐怖など）、専門家（ソーシャルインフルエンサー、中世学者）、気分（自慢げ、超然として面白がる）、場所への好み（ボストン、クアラルンプール）、人物像（エイダ・ラブレース、ニール・ドグラース・タイソン）。 研究者らはその後、今日のいくつかの大規模な言語モデルおよびビジョンモデルにおいて、各概念の表現を探した。彼らは、関心のある特定の概念を表す可能性のあるLLM内の数値パターンを認識するようにRFMを訓練することでこれを行った。 標準的な大規模言語モデルは、大まかに言えば、「空はなぜ青いの？」などの自然言語プロンプトを受け取り、プロンプトを個々の単語に分割するニューラルネットワークである。各単語は数値のリスト、つまりベクトルとして数学的に符号化される。モデルはこれらのベクトルを一連の計算層に通し、多くの数値の行列を作成する。これらの行列は各層を通じて、元のプロンプトに応答するために使用される可能性が最も高い他の単語を識別するために使用される。最終的に、層は自然言語応答の形でテキストにデコードされる一連の数値に収束する。 チームのアプローチは、特定の概念に関連付けられる可能性のあるLLM内の数値パターンを認識するようにRFMを訓練する。例として、LLMに「陰謀論者」の表現が含まれているかどうかを確認するために、研究者らはまず、明らかに陰謀に関連する100のプロンプトのLLM表現と、関連しない他の100のプロンプトのLLM表現の中からパターンを識別するようにアルゴリズムを訓練する。このようにして、アルゴリズムは陰謀論者概念に関連するパターンを学習する。その後、研究者らは、これらの識別されたパターンでLLM表現を摂動させることによって、陰謀論者概念の活動を数学的に調整できる。 この方法は、LLM内の任意の一般的な概念を探して操作するために適用できる。多くの例の中で、研究者らは表現を特定し、LLMを操作して「陰謀論者」の口調と視点で回答を与えるようにした。また、「拒否反対」の概念を特定して強化し、通常ならモデルは特定のプロンプトを拒否するようにプログラムされているところを、代わりに、例えば銀行強盗の方法について指示を与えるなどして回答することを示した。 Radhakrishnanは、このアプローチはLLMの脆弱性を素早く探し出し最小限に抑えるために使用できると言う。また、LLMが生成するあらゆる応答において、「簡潔さ」や「推論」といった概念を強調するなど、特定の特性、人格、気分、または好みを強化するためにも使用できる。チームはこの方法の基礎となるコードを公開している。 「LLMは明らかに、これらの抽象的概念の多くを、何らかの表現として内蔵しています」とRadhakrishnanは言う。「これらの表現を十分に理解できれば、特定のタスクに特化した高度に専門化されたLLMを構築できる方法があります」

大規模言語モデルに隠されたバイアス、気分、性格、抽象概念を暴く

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト

背景や根拠まで確認しますか？

関連記事

ニュースの次に確認する

調べる

選ぶ

サイト