LLM評価の4つの主要アプローチを理解する（基礎から）

LLM評価の4つの主要アプローチを理解する（スクラッチから） 選択式ベンチマーク、検証器、リーダーボード、LLMジャッジ、コード例付き ![](https://substackcdn.com/image/fetch/$s_!CfW_!,w_36,h_36,c_fill,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fbucketeer-e05bbc84-baa3-437e-9518-adb32be77984.s3.amazonaws.com%2Fpublic%2Fimages%2F61f4c017-506f-4e9b-a24f-76340dad0309_800x800.jpeg) Sebastian Raschka, PhDOct 05, 20253622633Share私たちは実際にどのようにLLMを評価するのでしょうか？それは単純な質問ですが、より大きな議論を引き起こす傾向があります。 プロジェクトのアドバイスや共同作業を行う際、私が最も頻繁に尋ねられることの一つは、異なるモデル間でどのように選択するか、そして世の中にある評価結果をどのように理解するかです。（そしてもちろん、ファインチューニングや独自開発を行う際に進捗をどのように測定するかもです。） これが非常に頻繁に話題に上るので、人々がLLMを比較する際に使用する主要な評価方法について、短い概要を共有することが役立つかもしれないと考えました。もちろん、LLM評価は非常に大きなトピックであり、単一の資料で網羅的にカバーすることはできませんが、これらの主要なアプローチについて明確なメンタルマップを持つことで、ベンチマーク、リーダーボード、論文を解釈することがずっと容易になると考えています。 私は当初、これらの評価技術を近刊の書籍『Build a Reasoning Model (From Scratch)』に含めることを計画していましたが、それらは主な範囲から少し外れてしまいました。（同書自体は、検証器ベースの評価に焦点を当てています。）そこで、これをスクラッチからのコード例付きの長めの記事として共有するのも良いだろうと考えました。 『Build A Reasoning Model (From Scratch)』では、スクラッチから推論LLMを構築する実践的なアプローチを取っています。「Build A Large Language Model (From Scratch)」がお好きだった方へ、この本は純粋なPyTorchですべてをスクラッチから構築するという点で、同様のスタイルで書かれています。 ![](https://substackcdn.com/image/fetch/$s_!Q_QP!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Fb34a8123-ef28-48bb-8ea2-28404b08d013_2461x997.png) 推論は、LLMを改善する上で最もエキサイティングで重要な最近の進歩の一つですが、理論として「推論」という用語を聞き、それについて読むだけでは、最も誤解されやすいものの一つでもあります。そこで、この本では、スクラッチから推論LLMを構築する実践的なアプローチを取っています。 この本は現在、100ページ以上がオンラインで公開されている早期アクセス段階にあり、私はさらに30ページを書き終え、レイアウトチームによって現在追加されています。早期アクセスプログラムに参加された方（ご支援に心から感謝します！）は、それらが公開された際にメールを受け取るはずです。 追伸：現在、LLM研究の最前線では多くのことが起こっています。私はまだ増え続けるブックマークした論文リストを追いかけているところで、次回の記事では最も興味深いもののいくつかを取り上げる予定です。 しかし今は、その利点と弱点をよりよく理解するために、4つの主要なLLM評価方法と、それらのスクラッチからのコード実装について議論しましょう。 LLMの主要な評価方法を理解する 実際に訓練されたLLMを評価する一般的な方法は4つあります：選択式、検証器、リーダーボード、そしてLLMジャッジです。以下の図1に示す通りです。研究論文、マーケティング資料、技術レポート、モデルカード（LLM固有の技術レポートを指す用語）には、しばしばこれらのカテゴリのうち2つ以上の結果が含まれています。 ![](https://substackcdn.com/image/fetch/$s_!nwaB!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Fc26764a9-6a26-4467-bb03-74b6cd1ed72b_1050x363.png) 図1：本記事で取り上げる4つの異なる評価モデルの概要。 さらに、ここで紹介する4つのカテゴリは、上の図に示すように、ベンチマークベースの評価とジャッジメントベースの評価の2つのグループに分類されます。 （他にも、訓練損失、パープレキシティ、報酬などの指標がありますが、それらは通常、モデル開発の内部で使用されます。） 以下のサブセクションでは、4つの方法それぞれについて簡単な概要と例を提供します。 方法1：回答選択の正確性を評価する まずはベンチマークベースの方法から始めます：選択式質問応答です。 歴史的に、最も広く使用されている評価方法の一つは、MMLU（Massive Multitask Language Understandingの略、https://huggingface.co/datasets/cais/mmlu）のような選択式ベンチマークです。このアプローチを説明するために、図2はMMLUデータセットからの代表的なタスクを示しています。 ![](https://substackcdn.com/image/fetch/$s_!WmmA!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F8d5f7998-21be-4144-bfc2-57b2e0a4b1c4_1040x608.png) 図2：LLMをMMLUで評価する方法。モデルの選択式予測をデータセットの正解と比較する。 図2はMMLUデータセットからの単一の例を示しています。完全なMMLUデータセットは57の科目（高校数学から生物学まで）から構成され、合計約16,000の選択式問題があり、性能は正答率（正しく回答された問題の割合）で測定されます。例えば、16,000問中14,000問が正解ならば87.5%です。 MMLUのような選択式ベンチマークは、標準化テスト、多くの学校の試験、または理論的な運転免許試験と同様に、LLMの知識想起を直接的で定量的な方法でテストします。 図2は、モデルが予測した回答の文字を直接正解と比較する、選択式評価の簡略化されたバージョンを示していることに注意してください。対数確率スコアリングを含む他の2つの一般的な方法が存在します。私はそれらをここGitHubで実装しました。（これはここで説明した概念に基づいているので、この記事を読み終えた後に確認することをお勧めします。） 以下のサブセクションでは、図2に示したMMLUのスコアリングをコードでどのように実装できるかを説明します。 1.2 モデルの読み込み まず、MMLUで評価する前に、事前訓練済みモデルを読み込む必要があります。ここでは、純粋なPyTorchでQwen3 0.6Bをスクラッチから実装したものを使用します。これは約1.5 GBのRAMしか必要としません。 ここではQwen3モデルの実装の詳細は重要ではありません。単に評価したいLLMとして扱います。しかし、もし興味があれば、スクラッチからの実装の詳細は、私の以前の記事『Understanding and Implementing Qwen3 From Scratch』で見ることができ、ソースコードはここGitHubでも利用可能です。 多くの行にわたるQwen3のソースコードをコピー＆ペーストする代わりに、私のreasoning_from_scratch Pythonライブラリからインポートします。このライブラリは以下のコマンドでインストールできます。 pip install reasoning_from_scratch uv add reasoning_from_scratch コードブロック1：事前訓練済みモデルの読み込み from pathlib import Path import torch from reasoning_from_scratch.ch02 import get_device from reasoning_from_scratch.qwen3 import ( download_qwen3_small, Qwen3Tokenizer, Qwen3Model, QWEN_CONFIG_06_B ) device = get_device() # 互換性のあるGPUでTensor Coresを有効にするため # 行列乗算精度を「high」に設定 torch.set_float32_matmul_precision("high") # デバイスの互換性の問題に遭遇した場合は # 以下の行のコメントを解除してください # device = "cpu" # デフォルトでベースモデルを使用 WHICH_MODEL = "base" if WHICH_MODEL == "base": download_qwen3_small( kind="base", tokenizer_only=False, out_dir="qwen3" ) tokenizer_path = Path("qwen3") / "tokenizer-base.json" model_path = Path("qwen3") / "qwen3-0.6B-base.pth" tokenizer = Qwen3Tokenizer(tokenizer_file_path=tokenizer_path) elif WHICH_MODEL == "reasoning": download_qwen3_small( kind="reasoning", tokenizer_only=False, out_dir="qwen3" ) tokenizer_path = Path("qwen3") / "tokenizer-reasoning.json" model_path = Path("qwen3") / "qwen3-0.6B-reasoning.pth" tokenizer = Qwen3Tokenizer( tokenizer_file_path=tokenizer_path, apply_chat_template=True, add_generation_prompt=True, add_thinking=True, ) else: raise ValueError(f"Invalid choice: WHICH_MODEL={WHICH_MODEL}") model = Qwen3Model(QWEN_CONFIG_06

LLM評価の4つの主要アプローチを理解する（基礎から）

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト