過信する大規模言語モデルを特定するためのより良い方法

大規模言語モデル（LLMs）は信頼性が高く見えるが不正確な回答を生成することがあるため、研究者たちは予測の信頼性を確認するための不確実性定量化手法を開発してきた。一般的な方法の一つは、同じプロンプトを複数回送信し、モデルが同じ回答を生成するかどうかを確認するものである。 しかし、この方法は自己信頼度を測定するものであり、最も優れたLLMでさえ自信を持って間違っている可能性がある。過信は予測の正確性についてユーザーを誤解させ、医療や金融のような重要な場面では壊滅的な結果を招く可能性がある。 この欠点に対処するため、MITの研究者たちは、自信を持っているが誤ったLLMの回答をより確実に特定できる、異なるタイプの不確実性を測定する新しい手法を提案した。 彼らの手法は、対象モデルの回答を類似したLLMsのグループからの回答と比較する。彼らは、モデル間の不一致を測定することが、従来のアプローチよりもこのタイプの不確実性をより正確に捉えることを発見した。 彼らはこのアプローチをLLMの自己一貫性の測定と組み合わせて総合不確実性指標を作成し、質問応答や数学的推論など10の現実的なタスクで評価した。この総合不確実性指標は一貫して他の測定法を上回り、信頼できない予測を特定するのに優れていた。 「自己一貫性は不確実性定量化のための多くの異なるアプローチで使用されていますが、不確実性の推定が単一モデルの結果のみに依存している場合、それは必ずしも信頼できるものではありません。私たちは現在のアプローチの限界を理解するために原点に戻り、それを出発点として、経験的に結果を改善できる補完的な手法を設計しました」と、MITの電気工学・計算機科学（EECS）大学院生でこの技術に関する論文の筆頭著者であるKimia Hamidiehは述べている。 論文の共著者には、MIT-IBM Watson AI Labの研究科学者Veronika Thost、元MITポスドクで現在ウースター工科大学助教授のWalter Gerych、MIT-IBM Watson AI Labのスタッフ研究科学者Mikhail Yurochkin、そしてEECS准教授で医学工学科学研究所および情報・意思決定システム研究所のメンバーであるシニア著者Marzyeh Ghassemiが名を連ねている。 **過信の理解** 不確実性定量化のための多くの一般的な手法は、モデルに信頼度スコアを尋ねたり、同じプロンプトに対する回答の一貫性をテストしたりすることを含む。これらの手法は偶然的不確実性、つまりモデルが自身の予測に対してどれだけ内部的に自信を持っているかを推定する。 しかし、LLMsは完全に間違っているときに自信を持っている可能性がある。研究によると、認識論的不確実性、つまり適切なモデルを使用しているかどうかについての不確実性は、モデルが過信している場合の真の不確実性を評価するより優れた方法となり得る。 MITの研究者たちは、類似したLLMsのグループ間の不一致を測定することで認識論的不確実性を推定する。 「もし私がChatGPTに同じ質問を複数回尋ねて何度も同じ答えを得たとしても、その答えが必ずしも正しいとは限りません。私がClaudeやGeminiに切り替えて同じ質問をし、異なる答えを得たなら、それは認識論的不確実性の感覚を与えてくれるでしょう」とHamidiehは説明する。 認識論的不確実性は、対象モデルがそのタスクに対する理想的なモデルからどれだけ乖離しているかを捉えようとする。しかし、理想的なモデルを構築することは不可能であるため、研究者たちはしばしば欠陥のある仮定に依存する代理や近似を使用する。 不確実性定量化を改善するために、MITの研究者たちは認識論的不確実性をより正確に推定する方法を必要としていた。 **アンサンブルアプローチ** 彼らが開発した手法は、対象モデルと類似したサイズとアーキテクチャを持つ小さなモデルのアンサンブル間の乖離を測定することを含む。彼らは、意味的類似性、つまり回答の意味がどれだけ密接に一致するかを比較することが、認識論的不確実性のより良い推定を提供できることを発見した。 最も正確な推定を達成するために、研究者たちは多様な回答をカバーし、対象モデルとあまり似ておらず、信頼性に基づいて重み付けされたLLMsのセットを必要とした。 「私たちは、これらすべての特性を満たす最も簡単な方法は、異なる企業によって訓練されたモデルを採用することであることを発見しました。より複雑な多くの異なるアプローチを試しましたが、この非常に単純なアプローチが最終的に最も効果的でした」とHamidiehは述べている。 認識論的不確実性を推定するこの手法を開発した後、彼らはそれを偶然的不確実性を測定する標準的なアプローチと組み合わせた。この総合不確実性指標（TU）は、モデルの信頼度レベルが信頼できるかどうかを最も正確に反映した。 「不確実性は、与えられたプロンプトの不確実性だけでなく、私たちのモデルが最適なモデルにどれだけ近いかにも依存します。これが、これら二つの不確実性指標を合計することが最良の推定を与える理由です」とHamidiehは述べている。 TUは、認識論的不確実性が偶然的不確実性が見逃す可能性のある自信を持った誤った出力にフラグを立てることができるため、LLMが幻覚を起こしている状況をより効果的に特定できる可能性がある。また、トレーニング中にLLMの自信を持った正しい回答を強化することも可能にし、性能を向上させるかもしれない。 彼らは、質問応答、要約、翻訳、数学的推論など10の一般的なタスクにおいて、複数のLLMsを使用してTUをテストした。彼らの手法は、単独のいずれの測定よりも効果的に信頼できない予測を特定した。 総合不確実性の測定は、偶然的不確実性を計算するよりも少ないクエリで済むことが多く、計算コストを削減しエネルギーを節約できる可能性がある。 彼らの実験はまた、認識論的不確実性が事実に関する質問応答のような一意の正解があるタスクで最も効果的であるが、よりオープンエンドなタスクでは性能が低下する可能性があることを明らかにした。 将来的には、研究者たちは彼らの技術を適応させて、オープンエンドなクエリでの性能を向上させることができるかもしれない。また、偶然的不確実性の他の形態を探求することでこの研究を発展させるかもしれない。 この研究は、一部、MIT-IBM Watson AI Labによって資金提供されている。

過信する大規模言語モデルを特定するためのより良い方法

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト

背景や根拠まで確認しますか？

関連記事

ニュースの次に確認する

調べる

選ぶ

サイト