The State of LLM Reasoning Model Inference｜LLM推論モデル推論の現状

大規模言語モデル（LLM）の推論能力の向上は、2025年における最も注目を集めるトピックの一つとなっており、それには十分な理由があります。より強力な推論スキルを備えることで、LLMはより複雑な問題に取り組むことが可能になり、ユーザーが関心を持つ幅広いタスクにおいて、より有能なモデルとなるためです。 ここ数週間で、研究者たちは推論を改善するための多数の新戦略を共有しました。これには、推論時の計算リソース拡大（推論時スケーリング）、強化学習、教師ありファインチューニング、蒸留などが含まれます。そして多くのアプローチは、より大きな効果を得るためにこれらの技術を組み合わせています。 本記事では、推論に最適化されたLLMに関する最近の研究進歩を探求します。特に、DeepSeek R1のリリース以降に登場した、推論時の計算リソース拡大（推論時スケーリング）に焦点を当てます。 ![image](https://substackcdn.com/image/fetch/$s_!IOSP!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Faf9e2677-652a-4af1-9f57-dc0c253d2198_1448x1260.png) 私が『Understanding Reasoning LLMs』で説明した、推論モデルを実装する4つの主要カテゴリー。本記事は推論時スケーリング手法に焦点を当てます。 LLMにおける推論の実装と改善：4つの主要カテゴリー ほとんどの読者はすでにLLM推論モデルに精通していると思われるため、定義は簡潔に述べます：LLMベースの推論モデルとは、中間ステップや構造化された「思考」プロセスを生成することで、多段階の問題を解決するように設計されたLLMのことです。単に最終的な答えを出力するだけの単純な質問応答LLMとは異なり、推論モデルは思考プロセスを明示的に表示するか、内部で処理します。これにより、パズル、コーディング課題、数学的問題などの複雑なタスクにおいて、より優れたパフォーマンスを発揮することが可能になります。 ![image](https://substackcdn.com/image/fetch/$s_!ZsN9!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F8abbfe39-f656-4845-b376-18c1e563210a_1326x564.png) 基本的なLLMの一行の回答と、推論LLMの説明を含む回答との比較。 一般的に、推論を改善するには主に2つの戦略があります：(1) 学習時の計算リソースを増やす、または (2) 推論時の計算リソースを増やす（推論時スケーリングまたはテスト時スケーリングとも呼ばれる）。（推論時の計算リソースとは、学習後にユーザーのクエリに応じてモデルの出力を生成するために必要な処理能力を指します。） ![image](https://substackcdn.com/image/fetch/$s_!pgyl!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Fddde6f39-3b88-4962-9d02-2cf767dc82e9_1484x994.png) 精度の向上は、学習時の計算リソースの増加、またはテスト時の計算リソースの増加によって達成可能。ここでテスト時の計算リソースは、推論時の計算リソースおよび推論時スケーリングと同義。出典: https://openai.com/index/learning-to-reason-with-llms/ の図を注釈付きで引用。 上記の図は、学習時「または」推論時の計算リソースによって推論が改善されるかのように見せています。しかし、LLMは通常、大規模な学習時の計算リソース（強化学習や特殊なデータを用いた大規模な学習やファインチューニング）と、増加した推論時の計算リソース（推論時にモデルが「より長く考える」ことや追加の計算を行うことを可能にする）を組み合わせることで、推論を改善するように設計されています。 ![image](https://substackcdn.com/image/fetch/$s_!RPhE!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Ff24fdf8c-61a7-451d-a02d-85f8fc4fce73_1600x811.png) 推論時スケーリングと同義で使用される多くの用語。 推論モデルがどのように開発・改善されているかを理解するためには、異なる技術を個別に見ることが依然として有用であると考えます。私の前回の記事『Understanding Reasoning LLMs』では、以下の図にまとめられているように、4つのカテゴリーに細分化した分類について論じました。 ![image](https://substackcdn.com/image/fetch/$s_!_2dU!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Fb5e5fdf9-e72c-497b-9cf4-b4e3c24f33f1_1600x591.png) 上図の手法2〜4は、通常、出力に中間ステップや説明を含むため、より長い応答を生成するモデルを生み出します。推論コストは応答の長さに比例するため（例えば、応答が2倍の長さなら計算リソースも2倍必要）、これらの学習アプローチは本質的に推論スケーリングと関連しています。しかし、この推論時の計算リソース拡大に関するセクションでは、追加のサンプリング戦略、自己修正メカニズム、またはその他の方法を通じて、生成されるトークン数を明示的に調整する技術に特に焦点を当てます。 本記事では、2025年1月22日のDeepSeek R1リリース後に続いた、推論時の計算リソース拡大（推論時スケーリング）に焦点を当てた興味深い新しい研究論文とモデルリリースに焦点を当てます。（当初は本記事ですべてのカテゴリーの手法を網羅する予定でしたが、分量が過多となったため、学習時の計算リソース手法に焦点を当てた別記事を将来公開することを決定しました。） ![image](https://substackcdn.com/image/fetch/$s_!tGdE!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F5a24019b-8b52-4780-9c15-877892ab647c_1600x1180.png) 私の前回の記事『Understanding Reasoning LLMs』（https://magazine.sebastianraschka.com/p/understanding-reasoning-llms）で論じた、DeepSeekの推論モデルの開発プロセス。 推論時の計算リソース拡大手法と、推論時スケーリングカテゴリーに焦点を当てた推論モデルの進歩のさまざまな領域について詳しく見る前に、少なくともすべての異なるカテゴリーの概要を簡単に説明させてください。 1. 推論時の計算リソース拡大（推論時スケーリング） このカテゴリーには、基礎となるモデルを学習させたり変更したりすることなく、推論時にモデルの推論能力を改善する手法が含まれます。

LLM推論モデル推論の現状

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト

背景や根拠まで確認しますか？

関連記事

ニュースの次に確認する

調べる

選ぶ

サイト