言語モデルの較正に関する深掘り：プラットスケーリング、等温回帰、温度スケーリング

![image](https://www.kdnuggets.com/wp-content/uploads/Rosidi_LLM-Calibration-2-scaled.png)** ## # イントロダクション 90% の自信を持っていると主張するモデルは、実際には 90% の確率で正解であるべきです。この関係性が崩れると、**不適合（miscalibration）**という問題が発生します。モデルのスコアはもはや信頼性に関する有用な情報を伝えなくなります。 **大規模言語モデル**（LLMs）においては、不適合が広く見られます。[2024 NAACL 調査](https://aclanthology.org/2024.naacl-long.366/)では、事実確認 QA、コード生成、推論タスク全体にわたって、自信スコアと実際の正答率が乖離していることが示されました。 別の[研究](https://www.biorxiv.org/content/10.1101/2025.02.11.637373v1.full)では、生体医学モデルを対象に調査が行われ、テストされたすべてのモデルで平均適合度スコアが 23.9% から 46.6% の範囲にあることが判明しました。このギャップは一定しています。 **古典的機械学習**における標準的な解決策は、事後再適合（post-hoc recalibration）です。これは、保持された検証セット上で単純な関数をフィットさせ、生の自信スコアをより適切に適合した確率値に変換する手法です。 **3 つの手法**が主流です：[温度スケーリング](https://github.com/gpleiss/temperature_scaling)、[プラット・スケーリング](https://www.blog.trainindata.com/complete-guide-to-platt-scaling/)、および[等回帰回帰](https://en.wikipedia.org/wiki/Isotonic_regression#:~:text=Isotonic%20regression%20is%20used%20iteratively,of%20supervised%20machine%20learning%20models/)です。これら 3 つはすべて[判別型分類器](https://medium.com/@akankshamalhotra24/generative-classifiers-v-s-discriminative-classifiers-1045f499d8cc)のために設計されたものであり、大規模言語モデル（LLM）に適用する際には注意が必要です。 ** ![image](https://www.kdnuggets.com/wp-content/uploads/Rosidi_LLM-Calibration-3.png) ## # 校正の測定 主流となる指標は[期待校正誤差](https://towardsdatascience.com/expected-calibration-error-ece-a-step-by-step-visual-explanation-with-python-code-c3e9aa12937d/)（ECE）です。これは予測を信頼性ビンにグループ化し、各ビンにおける平均信頼性と観測された精度の差を計算し、ビンのサイズで重み付けして平均化したものです。ECE が 0 の場合が完全な校正状態となります。 信頼性図は、信頼性と精度をプロットしたものです。完全に校正されたモデルは対角線上に位置します。過信しているモデルはその下に位置し、曲線は高い信頼性を示しますが、精度がそれに追いついていません。 ![image](https://www.kdnuggets.com/wp-content/uploads/Rosidi_LLM-Calibration-4.png) GPT-4o-mini をテキスト分類器として評価した [2025 年の調査](https://aejaspan.github.io/posts/2025-09-01-LLM-Clasifier-Confidence-Scores)では、その誤りの 66.7% が 80% 以上の信頼度で発生しており、これは典型的な過信のパターンです。 ECE（Expected Calibration Error）のみでは不十分と見なされるケースが増えています。ある [研究論文](https://arxiv.org/html/2512.16030) では、ECE に [ブリアー・スコア](https://en.wikipedia.org/wiki/Brier_score)、過信率、および信頼度図を組み合わせることを推奨しています。単一の数値では、モデルがどこでどのように誤動作するかという意味のある変動を隠してしまいます。 ## # なぜ LLM は標準的な設定を複雑にするのか 私たちが取り上げる 3 つの方法は、固定された出力空間を前提としています。分類器は各クラスに対して確率**を 1 つ生成し、キャリブレーション（較正）によってより良い推定値へとマッピングします。 **LLM**（大規模言語モデル）はこのように動作しません。 ここでは 4 つの複雑さが重要です。 ** ![image](https://www.kdnuggets.com/wp-content/uploads/Rosidi_LLM-Calibration-5.png) 出力空間は指数関数的に膨大であり、シーケンスレベルでの信頼度を列挙することはできません。意味的に同等な出力であっても、トークンレベルの確率は大きく異なる可能性があります。信頼性は粒度によって不一致を示します。原子較正に関する [研究論文](https://aclanthology.org/2024.naacl-long.366/) では、生成モデルが最も低い平均信頼度を示すのは生成の開始時や終了時ではなく、中間部分であることが示されています。 多くの大規模言語モデル（LLM）は、API を通じてトップ k トークンの確率のみを公開しているため、完全なロジットへのアクセスを前提とする古典的な較正手法には修正が必要となります。 ![image](https://www.kdnuggets.com/wp-content/uploads/Rosidi_LLM-Calibration-6.png) ## # 温度スケーリングの適用 温度スケーリングでは、ソフトマックス関数を適用する前にロジットベクトルをスカラー値 T で割ります。T > 1 の場合、分布は平坦化し信頼度は低下します。一方、T < 1 の場合、分布は鋭くなり信頼度は上昇します。 ![image](https://www.kdnuggets.com/wp-content/uploads/Rosidi_LLM-Calibration-7.png) T は、ネガティブ対数尤度（negative log-likelihood）を最小化することで、保持された検証セット上で最適化されます。この手法はパラメータを 1 つ追加するだけで予測の順位を保ち、計算コストも低く抑えられます。 [元の定式化](https://github.com/gpleiss/temperature_scaling) は DenseNet 画像分類器を対象としていましたが、LLM においては温度が各デコーディングステップにおける語彙全体に対する確率分布を制御するため、同じ論理が適用されます。 問題は [人間のフィードバックからの強化学習](https://huggingface.co/blog/rlhf)（RLHF）です。RLHF を経たモデルは入力依存型の過信を示すようになります：較正のズレの程度が入力によって異なり、単一の T 値ではその変動を説明することができません。 GPT-3 などのモデルにおける言語化された信頼性タスクでは、平均 ECE スコアが 0.377 を上回る事例が報告されており、[2025 年の調査](https://arxiv.org/html/2505.18658v2)は、RLHF（人間フィードバックによる強化学習）で調整されたモデルが一貫して全体的に信頼性を過大評価していることを確認しています。 [適応温度スケーリング](https://arxiv.org/abs/2409.19817)（ATS: Adaptive Temperature Scaling）は、これを直接的に解決します。ATS は、単一の固定された T を使用するのではなく、トークンレベルの隠れ特徴からトークンごとの温度を予測し、教師あり微調整データセット上でフィットさせます。研究者らは、ATS がタスク性能を損なうことなく、較正（calibration）を 10〜50% 改善したことを確認しました。RLHF で調整されたモデルであれば、ATS は標準的な温度スケーリングよりも強力なベースラインとなります。 標準的な温度スケーリングは、RLHF 前のベースモデルにおいては依然としてよく機能します。較正のズレが入力全体にほぼ均一である場合、単一の T を用いることで体系的な過大評価または過小評価を修正できることがほとんどです。 問題は、入力依存性の高い過大評価が生じる RLHF 後のモデルに特有のものであり、この場合、単一の T ではすべての入力を修正することができません。 ## プラットスケーリングの適用 プラットスケーリングは、較正されていないスコアに対してロジスティック関数をフィットさせます：p = σ(A·s + B)。ここで A と B は、二値の正誤ラベルを持つホールドアウト検証セットから学習されます。 シグモイド形状により、2 つの自由パラメータを持つパラメトリックなマッピングが得られます。 プラットスケーリングは元々 SVM（サポートベクトルマシン）のために開発されましたが、スカラーな信頼性スコアを生成するあらゆるシステムに一般化可能です。 ![image](https://www.kdnuggets.com/wp-content/uploads/Rosidi_LLM-Calibration-8.png) 2 パラメータフィットは、等圧回帰と比較してデータ効率的であり、より小さな校正セットから実用的な推定値を生成できます。これは、ラベル付きの正解データが限られている展開環境において重要です。 大規模言語モデル（LLM）の文脈では、プラットスケーリングはシーケンスレベルまたはトークンレベルの信頼度スコアに対して機能します。 LLM 生成コードの信頼性に関する論文 [paper](https://www.software-lab.org/publications/icse2025_calibration.pdf) では、プラットスケーリングが未校正スコアよりも較正された出力を生成することが示されています。また、テキストから SQL への LLM に関する別の研究では、[多変量プラットスケーリング](https://arxiv.org/html/2409.10855v1)（MPS）が導入され、単一変数のプラットスケーリングを拡張して、複数の生成サンプルにわたるサブ節の頻度スコアを組み合わせることで、単一スコアのベースラインを一貫して上回る結果を示しました。 2 つの限界**が文書化されています。第一に、グローバルなシーケンスレベルのプラットスケーリングは、正解性が局所的な編集決定に依存するタスクには粗すぎます。1 つのシグモイド変換では、サンプル固有の較正外れパターンを捉えることができません。 さらに、プラットスケーリングは強力なモデルにおいて適格スコアリング性能を低下させる可能性があります。 ## # 等圧回帰の適用 ** 等圧回帰は非パラメトリックなアプローチを採用します。 これは、[Pool Adjacent Violators Algorithm](https://medium.com/@jhimli.c1/unveiling-the-magic-of-pava-a-simple-path-to-monotonic-regression-37f19ffa60df)（PAVA）を用いて、不確実なスコアから補正済み確率への、ピースワイズ定数かつ単調非減少するマッピングを学習します。補正関数の形状には仮定が置かれていないため、信頼度と精度の関係がシグモイド状でない場合、プラットスケーリングよりも柔軟性が高く機能します。 ピースワイズ定数の出力は、線形、階段状、あるいは凹型など、あらゆる単調な形状に適応します。この適応性が、実証比較において等圧回帰（isotonic regression）がプラットスケーリングを上回る主な理由です。 その代償として、小規模な補正セットでは過学習のリスクがあります。このマッピングが良好に一般化するためには、それを制約する十分なデータが必要です。 実証的に、等圧回帰はプラットスケーリングよりも優れた結果を示します。 複数のデータセットとアーキテクチャにわたる厳密な[比較](https://arxiv.org/html/2509.23665v1)において、等圧回帰はボンフェローニ補正を適用したペア付き t 検定（α = 0.003）を用いた結果、ECE とブリアースコアにおいてプラットスケーリングを統計的に有意に上回ることが示されました。 ![image](https://www.kdnuggets.com/wp-content/uploads/Rosidi_LLM-Calibration-9.png) その研究では、ランダムフォレストのベースラインが、補正前では信頼性スコア 0.8268 から、プラットスケーリング適用で 0.9551 に向上し、等圧回帰適用ではさらに 0.9660 となりました。両手法とも強力なモデルに対しては適格スコア性能を低下させる可能性がありますが、等圧回帰による優位性は一貫して維持されました。 LLM の多クラス設定においては、標準的な等回帰（isotonic regression）を正規化対応拡張によってさらに改善でき、NLL および ECE において OvR 等回帰や標準のパラメトリック手法を一貫して上回る結果が示されています。 データ要件が制約条件となります。等回帰の利点は確かに存在しますが、これは低データ量での展開シナリオには転移しません。 ## # 文献が残した課題 これらの方法を導入する前に、3 つのギャップ（gap）を指摘しておく価値があります。 **RLHF**（Reinforcement Learning from Human Feedback：人間フィードバックからの強化学習）との相互作用は温度スケーリング（temperature scaling）についてのみ研究されています。**Platt スケーリング**や等回帰が RLHF 後のモデルでどのように機能するかについては、体系的なテストが行われていません。ATS は標準的な温度スケーリングがこのケースに対して明示的な修正を必要としたために存在します。他の2つの手法にも同様の拡張が必要かどうかは未解決の問いです。 ![image](https://www.kdnuggets.com/wp-content/uploads/Rosidi_LLM-Calibration-10.png) 3 つの方法すべてを直接比較した研究の多くは、一般的な機械学習の校正（calibration）文献に由来しています。これら 3 つを頭突きでテストする LLM 固有のベンチマークは稀です。ICSE 2025 のコード校正に関する論文 [paper](https://www.software-lab.org/publications/icse2025_calibration.pdf) はその数少ない例の一つですが、その範囲はコード生成に限定されています。 Calibration set size is a real deployment constraint. Isotonic regression results from papers assume datasets large enough to constrain the mapping. In production with limited labeled examples, the gap between isotonic regression and Platt scaling may close or reverse. ## # Conclusion ** Temperature scaling** is the right starting point for most teams. For base models without RLHF, a single T often does enough. For **RLHF**-tuned models, switch to ATS: the per-token temperature handles the input-dependent overconfidence that a global scalar misses. **Platt scaling** is the practical choice when the calibration set is small or when calibration needs to slot into a larger pipeline. It's data-efficient and straightforward to implement. The limitation is scope: it can't capture miscalibration that varies across samples, and it tends to degrade performance for strong models. **Isotonic regression** has the strongest empirical track record of the three. Use it when the calibration set is large enough to constrain the mapping without overfitting, and pair it with normalization-aware extensions in multiclass settings. これらすべての手法の前にある決断は、タスクにとって「信頼性（confidence）」が何を意味するかです。トークンの確率、シーケンスの確率、言語化された信頼性、そしてサンプル間の一貫性は、同じ出力に対して異なる値を与える可能性があります。誤った信号に適用される較正方法は信頼性を向上させません。上記の方法が機能するためには、この定義を正しく定めることが前提条件となります。

言語モデルの較正に関する深掘り：プラットスケーリング、等温回帰、温度スケーリング

背景や根拠まで確認しますか？

調べる

選ぶ

サイト

背景や根拠まで確認しますか？

ニュースの次に確認する

調べる

選ぶ

サイト