LLM推論のための強化学習の現状

今月は特に GPT-4.5 や Llama 4 といった新フラッグシップモデルのリリースに伴い、多くの出来事がありました。しかし、これらのリリースに対する反応が比較的控えめだったことに気づいた方もいるかもしれません。その理由の一つは、GPT-4.5 と Llama 4 が依然として従来のモデルであり、推論のための明示的な強化学習（Reinforcement Learning）を施して訓練されていないためです。 一方、xAI や Anthropic といった競合他社は、自社のモデルにさらに多くの推論機能と特徴を追加しています。例えば、xAI の Grok と Anthropic の Claude インターフェースの両方で、特定のモデルにおいて推論機能を明示的に切り替える「思考（thinking）」または「拡張思考（extended thinking）」ボタンが用意されています。 いずれにせよ、GPT-4.5 や Llama 4（非推論型）に対する控えめな反応は、モデルサイズとデータ量のみを拡大することによって達成できることの限界に近づいていることを示唆しています。 しかし、OpenAI が最近リリースした o3 推論モデルは、計算資源を戦略的に投資することで、特に推論タスク向けに設計された強化学習（Reinforcement Learning）手法を通じて、まだ大きな改善の余地があることを実証しています。（OpenAI のスタッフによると、直近のライブストリームにおいて、o3 は o1 と比較してトレーニング計算リソースを 10 倍使用したとのことです。） ![image](https://substackcdn.com/image/fetch/$s_!DWHh!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Fb06be25e-c103-4554-ba16-6e84ed6a5f1c_1600x998.png) 出典：OpenAI ライブストリーム（https://openai.com/live/）、2025 年 4 月 16 日 推論単体では万能薬ではありませんが、現時点において困難なタスクにおけるモデルの精度と問題解決能力を確実に向上させることが確認されています。そして、私は推論に焦点を当てたポストトレーニング（後期学習）が、将来の LLM パイプラインにおける標準的な実践となることを期待しています。 そこで、この記事では、強化学習を活用した推論に関する最新の動向を探っていきましょう。 ![image](https://substackcdn.com/image/fetch/$s_!2SLQ!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F739d9d44-4d24-4d82-bbe8-a68ae5bedd2c_1600x1116.png) この記事では、推論モデルの開発と改善に用いられる強化学習（Reinforcement Learning）のトレーニング手法に焦点を当てます。 比較的長文となるため、以下に目次概要を提供します。目次を移動するには、ウェブビューの左側にあるスライダーをご利用ください。 推論モデルの理解 RLHF の基礎：すべてが始まった場所 PPO に関する簡易紹介：強化学習の中核アルゴリズム 強化学習アルゴリズム：PPO から GRPO へ 強化学習による報酬モデリング：RLHF から RLVR へ DeepSeek-R1 推論モデルのトレーニング方法 最近の推論モデルトレーニングに関する強化学習論文からの教訓 推論モデルトレーニングにおける注目すべき研究論文 ヒント：すでに推論の基礎、強化学習（RL）、PPO、GRPOについてご存知の場合は、「最近の推論モデル訓練に関する RL 論文からの教訓」セクションへ直接お進みください。ここには、最新の推論研究論文から得られた興味深い洞察の要約が含まれています。 推論モデルの理解 ここで最も重要な課題は、もちろん「推論」の定義です。簡単に言えば、推論とは、LLM が複雑なタスクをよりよく処理できるようにするための推論手法と訓練技法のことです。 このように実現される仕組みについてもう少し詳しく説明するために、私は以下のように推論を定義します： LLM の文脈における推論とは、最終的な回答を提供する前に中間ステップを生成するモデルの能力を指します。これはしばしば「思考の連鎖（Chain-of-Thought: CoT）」推論として記述されるプロセスです。CoT 推論では、LLM は結論に至るまでの過程を示すために、構造化された一連の文や計算を明示的に生成します。 以下に、この定義を図解したものを示します。 ![image](https://substackcdn.com/image/fetch/$s_!mB5l!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F0d4e5157-5a68-4a37-807d-9d6a2f933084_1164x858.png) LLM が多段階推論タスクに取り組む方法を簡略化した図解です。単に事実を思い出すのではなく、モデルは正しい結論に至るために複数の中間推論ステップを組み合わせる必要があります。これらの中間推論ステップがユーザーに表示されるかどうかは、実装次第です。 推論モデルについて初めて学ぶ方で、より包括的な入門をお求めの場合は、私の過去の以下の記事をお勧めします： さて、このセクションの冒頭で示唆された通り、LLM の推論能力は、OpenAI のブログ投稿にある図に美しく描かれているように、2 つの方法で向上させることができます。 ![image](https://substackcdn.com/image/fetch/$s_!Vxu-!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Ffb229cbf-7e4c-4633-ae1f-50266d791abc_1600x1070.png) 精度の向上は、トレーニング量の増加または推論時計算リソース（テストタイム・コンピュート）の増強によって達成できます。ここでいう推論時計算リソースとは、推論時の計算リソース（インフェレンス・タイム・コンピュート）および推論時のスケーリングと同等の意味です。出典：https://openai.com/index/learning-to-reason-with-llms/ の注釈付き図。 私の過去の以下の記事では： 私は推論時計算リソース（テストタイム・コンピュート）に関する手法にのみ焦点を当てていました。今回の記事では、ついにトレーニング手法についてより詳しく取り上げたいと思います。 RLHF の基礎：すべてが始まった場所 LLM の推論モデルを構築・改善するために用いられる強化学習（RL）トレーニング手法は、従来の LLM を開発・整列させるために使われる人間フィードバック付き強化学習（RLHF）手法と、多少なりとも関連しています。そこで、RL ベースのトレーニングに基づく推論固有の変更について議論する前に、まず RLHF がどのように機能するかを簡単に振り返りたいと思います。 従来の LLM は通常、3 つのステップからなるトレーニング手順を経ます： 事前学習（Pre-training） 教師あり微調整（Supervised fine-tuning） 整列（通常は RLHF を通じて） 「オリジナル」の LLM 整列手法は RLHF で、これは最初の ChatGPT モデルの開発に使用されたレシピを記述した InstructGPT 論文に従って LLM を開発する際の標準的なレパートリーの一部です。 RLHF の元の目的は、LLM を人間の嗜好と整合させることです。例えば、あるプロンプトに対して LLM が複数の回答を生成するような場合、LLM を複数回使用するとします。RLHF は、あなたが好むようなスタイルの回答をより多く生成するように LLM を導きます。（しばしば、RLHF は安全性チューニングにも用いられます：機密情報の共有や卑猥な言葉の使用などを避けるためです。） RLHF に初めて触れる方のために、数年前に行った私の講演からの抜粋をご紹介します。これは 5 分未満で RLHF を説明するものです： あるいは、以下の段落ではテキスト形式で RLHF を説明します。 RLHF パイプラインは、事前学習済みモデルを取得し、教師あり方式で微調整を行います。この微調整はまだ RL の部分ではなく、主に前提条件です。 その後、RLHF は近傍政策最適化（proximal policy optimization, PPO）と呼ばれるアルゴリズムを用いて LLM をさらに整列させます。（PPO の代わりに使用可能な他のアルゴリズムも存在しますが、ここでは RLHF で最初に使用され、今日でも最も人気のあるものなので、あえて PPO について言及しています。） 簡略化のため、RLHF パイプラインを以下の 3 つの独立したステップで見ていきましょう。 RLHF ステップ 1（前提条件）：事前学習済みモデルに対する教師あり微調整（SFT） RLHF ステップ 2：報酬モデルの作成 RLHF ステップ 3：近傍政策最適化（PPO）による微調整 以下に示す RLHF ステップ 1 は、さらなる RLHF 微調整のためのベースモデルを作成するための教師あり微調整ステップです。 ![image](https://substackcdn.com/image/fetch/$s_!MiKW!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F6ef3ddcf-1a49-45a2-950e-49ebf56e80f4_1600x741.png) InstructGPT 論文からの注釈付き図、https://arxiv.org/abs/2203.02155 RLHF ステップ 1 では、データベースなどからプロンプトを作成またはサンプリングし、人間に高品質な回答を書いてもらいます。その後、このデータセットを用いて事前学習済みベースモデルを教師あり方式で微調整します。前述の通り、これは技術的には RL 訓練の一部ではなく、単なる前提条件です。 RLHF ステップ 2 では、次にこの教師あり微調整（SFT）から得られたモデルを用いて、以下に示すように報酬モデルを作成します。 ![image](https://substackcdn.com/image/fetch/$s_!At37!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F4aca23a9-df94-4054-a8ef-5d109d8daa47_1600x840.png) InstructGPT 論文からの注釈付き図、https://arxiv.org/abs/2203.02155 上記の図に示されているように、各プロンプトに対して、前段階で作成したファインチューニング済み大規模言語モデル（LLM: Large Language Model）から 4 つの応答を生成します。その後、人間の注釈担当者がこれらの応答を好みに基づいてランク付けします。このランク付けプロセスは時間がかかりますが、教師ありファインチューニング用のデータセットを作成するよりもやや労働集約的ではない可能性があります。これは、応答をランク付けする方がそれらを書き起こすよりも単純であると考えられるためです。 これらのランク付けを含むデータセットを構築した後、RLHF（Reinforcement Learning from Human Feedback: 人間フィードバックからの強化学習）のステップ 3 における最適化後の段階に対して報酬スコアを出力する報酬モデル（RM: Reward Model）を設計することができます。ここで提案されているアイデアは、報酬モデルが労働集約的な人間のランク付けに代わり自動化を行うことで、大規模データセット上でのトレーニングを可能にするという点にあります。 この報酬モデル（RM）は、通常、前段階の教師ありファインチューニング（SFT: Supervised Fine-Tuning）ステップで作成された LLM に由来します。RLHF のステップ 1 で作成されたモデルを報酬モデルに変換するには、その出力層（次トークン分類層）を回帰層に置き換え、単一の出力ノードを持つ特徴を持たせます。 RLHF パイプラインの3番目のステップは、報酬モデル（RM）を使用して、教師あり微調整（SFT）から得られた前モデルを微調整することであり、これは以下の図に示されています。 ![image](https://substackcdn.com/image/fetch/$s_!Ak0r!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Fc374a894-975e-4c42-9bc8-a8ac1fe06af8_1600x829.png) InstructGPT 論文からの注釈付き図、https://arxiv.org/abs/2203.02155 RLHF ステップ3（最終段階）では、RLHF ステップ2で作成した報酬モデルからの報酬スコアに基づき、SFT モデルを近似的政策最適化（PPO: proximal policy optimization）を用いて更新しています。 Ahead of AI は読者支援型の出版物です。新しい投稿を受け取り、私の活動をサポートするには、無料または有料の購読者になることを検討してください。 PPO に関する簡単な紹介：強化学習の中核アルゴリズム 前述したように、元の RLHF 手法では、近似的政策最適化（PPO: proximal policy optimization）と呼ばれる強化学習アルゴリズムを使用しています。 PPO は、ポリシーのトレーニングにおける安定性と効率性を向上させるために開発されました。（強化学習において「ポリシー」とは、トレーニングしたいモデルを指します。この場合、ポリシー = 大規模言語モデル（LLM）です。） PPO の背後にある重要なアイデアの一つは、各更新ステップでポリシーが変化できる範囲を制限することです。これはクリップ付き損失関数を用いて行われ、トレーニングを不安定にする可能性のある過度に大きな更新を防ぐのに役立ちます。 さらに、PPO は損失関数に KL 発散のペナルティも含まれています。この項は、現在のポリシー（トレーニング中のモデル）と元の SFT モデルを比較するものであり、更新が適切に近傍にとどまるよう促します。結局のところ、モデルを完全に再訓練するのではなく、好意に基づいてチューニングするのが目的だからです。 これが「近接」政策最適化における「近接（proximal）」という名前の由来です：このアルゴリズムは、改善を可能にしつつも更新を既存のモデルに近づけて保とうとします。また、ある程度の探索を促すために、PPO はエントロピーボーナスも追加しており、これによりトレーニング中にモデルが出力を変化させるよう促されます。 以下の段落では、PPO を比較的高いレベルで説明するために、さらにいくつかの用語を紹介したいと思います。ただし、専門用語が多く含まれているため、続ける前に主要な用語を図にまとめました。 ![image](https://substackcdn.com/image/fetch/$s_!pmzH!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F9c02ecf0-cb1d-4f62-a160-6d07636b99fd_1600x1384.png) RLHF における主要な用語の図解。例えば、PPO には複数のモデルが関与しており、PPO は RLHF で使用されるアルゴリズム（RLHF は最も人気のある LLM アライメント手法の一つ）です。 以下では、疑似コードを通じて PPO の主要なステップを説明します。 さらに、より直感的に理解していただくために、例え話も使います：あなたは小さなフードデリバリーサービスを経営するシェフだと想像してください。そして、顧客満足度を高めるために、常に新しいレシピのバリエーションを試している状態です。あなたの全体的な目標は、顧客からのフィードバック（報酬）に基づいて、レシピ（ポリシー）を微調整することです。 1. 新しいポリシーと古いポリシーから得られる次のトークンの確率の比率を計算します： ratio = new_policy_prob / old_policy_prob 要するに、これは新しいレシピが古いレシピとどれだけ異なるかを確認するものです。 補足：「new_policy_prob」についてですが、私たちはまだ最終的に更新されたポリシーを使用しているわけではありません。現在トレーニング中のモデル（つまり、現在のバージョンのポリシー）を使用しています。しかし、慣例としてこれを「新しい」と呼ぶことにしています。したがって、まだ実験中であっても、慣例に従って現在の草案を「新しいポリシー」と呼びます。 2. その比率に、その行動がどれだけ良かったか（アドバンテージと呼ばれる）を掛けます： raw_score = ratio * advantage ここでは簡略化のため、アドバンテージは報酬信号に基づいて計算されると仮定します： advantage = actual_reward - expected_reward シェフの例え話では、アドバンテージは新しい料理がどれだけうまく機能したかを考えることができます： advantage = customer_rating - expected_rating 例えば、顧客が新しい料理に 9/10 の評価を与え、通常顧客が私たちに与える評価が 7/10 である場合、それは +2 のアドバンテージとなります。 これは簡略化された説明です。実際には、一般化されたアドバンテージ推定（GAE）が含まれており、記事が冗長になるのを避けるためにここでは省略しています。ただし、重要な詳細として言及すべき点があります。期待される報酬は、「批評家」（「価値モデル」とも呼ばれる）によって計算され、実際の報酬は報酬モデルによって計算されます。つまり、アドバンテージの計算には、微調整対象となる元のモデルと同程度の規模を持つ 2 つの追加モデルが関与します。 この比喩において、この批評家または価値モデルは、料理を顧客に提供する前に試食してもらう友人と考えることができます。また、その友人に顧客がどのように評価するか（これが期待される報酬）も推定してもらいます。一方、報酬モデルは実際の顧客であり、フィードバック（つまり実際の報酬）を与えます。 3. クリップされたスコアを計算する: 新しいポリシーがあまりにも大きく変化した場合（例えば、比率が 1.2 より大きい、または 0.8 より小さい場合）、比率をクリップします。以下のように行います： clipped_ratio = clamp(ratio, 0.8, 1.2) clipped_score = clipped_ratio * advantage 比喩において、新しいレシピが非常に素晴らしい（あるいはひどい）レビューを得たと想像してください。その場合、メニュー全体を今すぐ大規模に改訂したくなるかもしれません。しかし、それはリスクが高いです。そこで代わりに、現在のところレシピを変更できる範囲をクリップします。（例えば、料理の辛さを大幅に変更し、たまたま一人の顧客が辛い食べ物を好んだとしても、それが他の全員にも当てはまるわけではありません。） 4. 次に、生のスコアとクリップされたスコアのどちらか小さい方を使用します： final_score = min(raw_score, clipped_score)(Johanna Reiml 氏に PPO の下限性質に関する初期の問題を指摘していただき、現在は修正済みです。) これもまた、少し慎重になることに関連しています。例えば、アドバンテージが正の場合（新しい行動の方が良い場合）、報酬の上限を設定します。これは、偶然や運による良い結果に対して過信したくないからです。 一方、アドバンテージが負の場合（新しい行動の方が悪い場合）、ペナルティの上限を設けます。ここでの考え方も同様です。つまり、本当に確信があるまで、一つの悪い結果に過剰反応したくないのです。 要するに、アドバンテージが正の場合は二つのスコアのうち小さい方を使用し（過剰な報酬を防ぐため）、負の場合は大きい方を使用します（過剰なペナルティを防ぐため）。 このアナロジーでは、レシピが期待以上にうまくいっている場合でも、確信があるまで過剰に評価しないことを保証しています。また、パフォーマンスが低下している場合でも、一貫して悪い結果が続くまで過剰に罰さないようにします。 5. 損失の計算: この最終スコアは、トレーニング中に最大化する対象となります（スコアの符号を反転させて最小化し、勾配降下法を使用）。さらに、KL ペナルティ項も追加されます。ここでβはペナルティ強度のためのハイパーパラメータです： loss = -final_score + β * KL(new_policy || reference_policy)この比喩において、新しいレシピが元のスタイルからあまりにもかけ離れないようにするためにペナルティを加えています。これにより、毎週「台所を再発明する」ことを防ぎます。例えば、イタリアンレストランが突然 BBQ 専門店に変わってしまうようなことは避けたいものです。 これは多くの情報を含んでいたため、LLM の文脈における具体的な数値例を図で要約しました。ただし、複雑すぎる場合は飛ばしても構いません。残りの記事は十分に理解できるはずです。 ![image](https://substackcdn.com/image/fetch/$s_!L93y!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F16bdf3ea-2674-40be-96ba-d3479410430e_1274x1956.png) PPO の解説にやりすぎたかもしれないと認めます。しかし、一度書いてしまうと削除するのは難しくなりました。誰かの役に立つことを願っています！ その上で、次のセクションで重要となる主なポイントは、PPO には複数のモデルが関与していることです： 1. ポリシー（policy）: SFT で訓練された LLM であり、さらにアライメントを進めたい対象です。 2. リワードモデル（reward model）: リワードを予測するように訓練されたモデルです（RLHF のステップ 2 を参照）。 3. クリティック（critic）: リワードを見積もる学習可能なモデルです。 4. リファレンスモデル（reference model、元のポリシー）: ポリシーがあまりにも逸脱しないようにするために使用します。 ところで、なぜ報酬モデルと批評家モデルの両方が必要なのか疑問に思うかもしれません。報酬モデルは通常、ポリシーを PPO でトレーニングする前に訓練されます。これは人間の審査員による選好ラベル付けを自動化し、ポリシー LLM が生成した完全な応答に対するスコアを与えるためです。 一方、批評家は部分的な応答を評価します。最終的な応答を作成するためにこれを使用します。報酬モデルは通常凍結されたままですが、批評家モデルはトレーニング中に更新され、報酬モデルによって作成される報酬をよりよく推定できるようにします。 PPO に関する詳細はこの記事の範囲外ですが、興味のある読者は InstructGPT 論文に先立つ以下の 4 つの論文で数学的な詳細を見つけることができます： (1) Mnih, Badia, Mirza, Graves, Lillicrap, Harley, Silver, Kavukcuoglu による「Asynchronous Methods for Deep Reinforcement Learning (2016)」は、深層学習ベースの強化学習における Q-ラーニングの代替としてポリシー勾配法を紹介しています。 (2) Schulman, Wolski, Dhariwal, Radford, Klimov による「Proximal Policy Optimization Algorithms (2017)」は、上記のバニラなポリシー最適化アルゴリズムよりもデータ効率的でスケーラブルな、修正された近接ポリシーベースの強化学習手順を提示しています。 (3) Ziegler, Stiennon, Wu, Brown, Radford, Amodei, Christiano, Irving による「Human Preferences から言語モデルを微調整する（2020）」は、PPO と報酬学習の概念を示しており、事前学習済み言語モデルに対して KL 正則化（KL regularization）を含めることで、ポリシーが自然言語から遠くへ逸脱しないように防止しています。 (4) Stiennon, Ouyang, Wu, Ziegler, Lowe, Voss, Radford, Amodei, Christiano による「Human Feedback から要約を学習する（2022）」は、後に InstructGPT 論文でも使用された人気のある RLHF の3段階手順を紹介しています。 RL アルゴリズム：PPO から GRPO へ 前述の通り、PPO は RLHF で最初に使用されたアルゴリズムです。技術的な観点からは、推論モデルの開発に用いられている RL パイプラインにおいて完璧に機能します。しかし、DeepSeek-R1 がその RL パイプラインで採用したのは、彼らの以前の論文の一つで紹介された「Group Relative Policy Optimization（GRPO）」と呼ばれるアルゴリズムです。 DeepSeekMath: 開放型言語モデルにおける数学的推論の限界を押し広げる（2024） DeepSeek チームは GRPO を紹介しました

LLM推論のための強化学習の現状

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト