2025年の大規模言語モデルの現状：進歩、課題、予測

**LLMの現状 2025：進展、課題、予測** ![](https://substackcdn.com/image/fetch/$s_!CfW_!,w_36,h_36,c_fill,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fbucketeer-e05bbc84-baa3-437e-9518-adb32be77984.s3.amazonaws.com%2Fpublic%2Fimages%2F61f4c017-506f-4e9b-a24f-76340dad0309_800x800.jpeg) Sebastian Raschka, PhD 2025年12月30日 5023955 シェア 2025年が終わりに近づく中、今年の大規模言語モデルにおける最も重要な進展を振り返り、残されている限界と未解決の問題について考察し、今後起こりうることについての私見を共有したいと思います。 私が毎年言う傾向にあるように、2025年はLLMとAIにとって非常に出来事の多い年であり、今年も進歩が飽和したり鈍化したりする兆候は見られませんでした。 **1. 推論、RLVR、GRPOの年** 取り上げたい興味深いトピックは数多くありますが、まずは時系列で2025年1月から始めましょう。 スケーリングは依然として有効でしたが、実際のLLMの振る舞いや感覚を根本的に変えるものではありませんでした（唯一の例外は、推論の軌跡を追加したOpenAIの新モデルo1です）。したがって、2025年1月にDeepSeekがR1論文を発表し、強化学習によって推論的な振る舞いを発展させられることを示したとき、それは非常に大きな出来事でした。（LLMの文脈における「推論」とは、モデルが答えを説明し、その説明自体が答えの精度向上につながることを意味します。） ![](https://substackcdn.com/image/fetch/$s_!Kcvi!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F89f0ab43-20be-4c4d-a0f7-1a107d380222_1496x1464.png) 図1：推論モデルで典型的に生成される、短い応答と中間ステップを含む長い応答。 **1.1 DeepSeekの瞬間** DeepSeek R1は様々な理由で大きな注目を集めました。 第一に、DeepSeek R1はオープンウェイトモデルとしてリリースされ、非常に優れた性能を発揮し、当時の最高のプロプライエタリモデル（ChatGPT、Geminiなど）に匹敵するものでした。 第二に、DeepSeek R1論文は、多くの人々、特に投資家やジャーナリストに、2024年12月の初期のDeepSeek V3論文を再検討するきっかけを与えました。これにより、最先端モデルのトレーニングは依然として高額ではあるものの、以前想定されていたよりも一桁安い可能性があり、その推定額は5000万ドルや5億ドルではなく、500万ドルに近いという修正された結論に至りました。 ![](https://substackcdn.com/image/fetch/$s_!Tc8v!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F8ca64a21-f608-4aba-9920-5a8f8216ae27_1600x386.png) 図2：671BパラメータのDeepSeek V3モデルのトレーニングコストを推定したDeepSeek V3論文の表。 DeepSeek R1の補足資料では、DeepSeek V3の上にDeepSeek R1モデルをトレーニングするコストはさらに29万4000ドルと推定されており、これもまた誰もが信じていたよりもはるかに低いものです。 ![](https://substackcdn.com/image/fetch/$s_!2b0j!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Fadaa546e-94d1-4dfe-b05d-f23e43847211_1358x288.png) 図3：DeepSeek V3上でR1モデルをトレーニングするコストを推定したDeepSeek R1論文補足資料の表。 もちろん、500万ドルという推定には多くの注意点があります。例えば、それは最終モデル実行のためのコンピュートクレジットコストのみを捉えており、研究者の給与やハイパーパラメータ調整と実験に関連する他の開発コストは考慮されていません。 第三に、そして最も興味深いことに、この論文は、検証可能な報酬を用いた強化学習（RLVR）とGRPOアルゴリズムを、いわゆる推論モデルを開発し、ポストトレーニング中にLLMを改善するための新しい（あるいは少なくとも修正された）アルゴリズム的アプローチとして提示しました。 ![](https://substackcdn.com/image/fetch/$s_!Uvve!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Fde63e3fa-a7f1-41ea-ad03-17e4515f1d6e_1600x1400.png) 図4：強化学習がいつ/どのように適用されるかの大まかな概要。この概要では多くの詳細を省略していますが、興味のある読者は私の記事「The State of Reinforcement Learning for LLM Reasoning」でさらに詳しく読むことができます。 これまで、教師あり指示ファインチューニング（SFT）や人間のフィードバックによる強化学習（RLHF）のようなポストトレーニング手法（これらは依然としてトレーニングパイプラインの重要な部分です）は、高価な記述応答や選好ラベルを必要とするためボトルネックとなっていました。（もちろん、他のLLMで合成的に生成することもできますが、それは少し鶏と卵の問題です。） DeepSeek R1とRLVRの非常に重要な点は、大量のデータでLLMをポストトレーニングできるようにすることで、（利用可能なコンピュート予算があれば）ポストトレーニング中のコンピュートスケーリングを通じて能力を向上・解放するための有力な候補となることです。 RLVRの「V」は「検証可能」を意味し、決定論的アプローチを使用して正解ラベルを割り当てることができ、これらのラベルはLLMが複雑な問題解決を学習するのに十分であることを意味します。（典型的なカテゴリーは数学とコードですが、この考え方を他の領域に拡張することも可能です。） ![](https://substackcdn.com/image/fetch/$s_!ZBQ-!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F93f6ea05-d650-4ec7-8972-b1975ffbc508_1082x580.png) 図5：検証可能な報酬の簡単な例。 この年次レビュー記事では他の側面も取り上げたいので、ここで技術的な詳細に深入りしすぎたくはありません。推論LLMとRLVRについては記事や本が丸ごと書けるほどです。例えば、もっと知りたい方は、私の以前の記事を参照してください。 ![](https://substackcdn.com/image/fetch/$s_!QwUc!,w_140,h_140,c_fill,f_auto,q_auto:good,fl_progressive:steep,g_auto/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Fd6ebc5c9-461f-4d3a-889b-b8ea4e14e5ba_1600x830.png) Understanding Reasoning LLMs ![](https://substackcdn.com/image/fetch/$s_!pmzH!,w_140,h_140,c_fill,f_auto,q_auto:good,fl_progressive:steep,g_auto/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F9c02ecf0-cb1d-4f62-a160-6d07636b99fd_1600x1384.png) The State of Reinforcement Learning for LLM Reasoning 以上を踏まえると、今年のLLM開発は本質的に、RLVRとGRPOを使用した推論モデルが支配的だったと言えます。 基本的に、すべての主要なオープンウェイトまたはプロプライエタリなLLM開発者は、DeepSeek R1に続いて、自社モデルの推論（しばしば「思考」と呼ばれる）バリアントをリリースしました。 **1.2 LLMの焦点ポイント** アーキテクチャと事前トレーニングのコンピュートをスケーリングするだけではなく、各年のLLM開発の焦点ポイントを簡潔にまとめると、私のリストは次のようになります。 2022年 RLHF + PPO 2024年 ミッドトレーニング 2025年 RLVR + GRPO 事前トレーニングは依然としてすべての基礎となる必要条件です。それに加えて、RLHF（PPOアルゴリズム経由）は、もちろん、2022年に最初のChatGPTモデルをもたらしたものでした。 2023年には、小さなカスタムLLMをトレーニングするための、LoRAおよびLoRAに似たパラメータ効率的なファインチューニング技術に多くの焦点が当てられました。 ![](https://substackcdn.com/image/fetch/$s_!GlDd!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F23917c54-bf6b-4554-9db7-9b7360b69f11_1600x576.png) 図6：長年にわたるプロプライエタリおよびオープンウェイトLLM開発の焦点領域の一部。これは累積的であることに注意してください。つまり、例えばRLHF + PPOは依然として関連性があり使用されています。しかし、もはや最も熱く議論されているトピックではありません。 その後、2024年には、すべての主要な研究所が、合成データに焦点を当て、データミックスを最適化し、ドメイン固有のデータを使用し、専用の長文脈トレーニング段階を追加することによって、（事前）トレーニングパイプラインをより洗練されたものにし始めました。私はこれらのd

2025年の大規模言語モデルの現状：進歩、課題、予測

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト

背景や根拠まで確認しますか？

関連記事

ニュースの次に確認する

調べる

選ぶ

サイト