Hugging Face ジャーナルクラブ：事前学習と強化学習のスケーリング法則

チェスから読み解く AI の限界：事前学習と強化学習の「計算資源配分」戦略

Hugging Face ジャーナルクラブで議論された最新論文は、大規模言語モデル（LLM）開発における「計算資源をどこに投じるか」という根本的な問いに、チェスという明確な最適解を持つ環境を用いて答えを出しました。その結論は直感的です。事前学習に多くのリソースを割くほど、最終的な性能は確実に向上する一方、強化学習（RL）は初期の信頼性を劇的に高めるものの、モデルが巨大化すればするほどその相対効果は薄れていくことが示されました。

チェス環境という「実験室」：なぜチェスが選ばれたのか

この研究の画期的な点は、自然言語のような曖昧さがあるタスクではなく、「チェス」という明確な正解が存在する環境で実験を行ったことです。研究者たちは、人間が指したチェスの対局データを用いてモデルを事前学習し、その後に「思考連鎖（Chain of Thought）」による教師あり微調整（SFT）と強化学習（RL）を行いました。

ここで重要なのは、報酬の与え方です。従来の RL ではゲーム終了時の勝敗のみが評価されがちですが、この実験では Stockfish などのチェスエンジンを用いて「各手ごとの最適解」を判定し、モデルがその手を指すたびに報酬を与えました。これにより、プロセスレベルでの監督学習が可能になり、スパース（希薄）な報酬問題が克服されています。

「チェスという環境では、各局面における最善手が計算可能であるため、ゲーム全体ではなく『手ごとの最適解』に対して報酬を与えることが実現できた。これは従来の RL とは異なるアプローチだ」

計算資源の配分：事前学習こそが性能の上限を決める

実験結果から得られた最も重要な知見は、「事前学習に割くリソースの量と、事後学習後の最終性能（Pass@1）には明確な正の相関がある」という点です。

モデルを小さくして長く訓練するよりも、あるいは強化学習で無理やり補うよりも、事前学習そのものの質と量を最大化することが、最終的な性能向上への近道であることが確認されました。具体的には、事前学習の損失（Loss）が低いほど、モデルは一般化能力が高く、事後学習でのパフォーマンスも高くなる傾向が見られました。

一方で、強化学習の効果については興味深い限界が見えています。強化学習は「Pass@1」（最も確からしい回答が正解である確率）を劇的に向上させますが、「Pass@K」の改善効果は限定的です。つまり、モデルの信頼性（一度に正しい答えを出す力）は高まりますが、多様な解法や探索能力（複数の候補の中からベストを選ぶ力）には大きな変化をもたらさないのです。

この傾向はモデルサイズが大きくなるほど顕著になります。2 億パラメータのような小規模モデルでは強化学習による Pass@16 の改善も確認されましたが、より大規模なモデルになると、その効果はほぼゼロに近づきます。これは、「モデルが十分に大きくなれば、事前学習で得た知識の質が全てを決める」ことを示唆しています。

実務への示唆：既存モデルへの適用と懐疑論

この研究結果を現実の開発現場にどう適用すべきかについては、参加者たちの間で活発な議論が行われました。多くの企業や研究者は、ゼロから事前学習を行うのではなく、「既存のオープンウェイトモデルに対してミッドトレーニング（中間訓練）や強化学習を施す」というシナリオで悩んでいます。

しかし、この実験結果は、「事前学習なし、あるいは中途半端な事前学習からの強化学習の実効性には懐疑的であるべき」という見解を裏付けています。既存モデルのアーキテクチャや事前学習のレシピが不明な場合でも、計算資源を事前学習段階に集中させる方が、最終的な性能向上には確実につながる可能性があります。

また、「ランダム初期化から強化学習だけでモデルを育てる」というアイデアについても、チェスという特殊な環境でのみ成り立つ結果であり、自然言語処理や複雑な推論タスクへの一般化には注意が必要だと指摘されました。チェスでは Stockfish が各手ごとの最適解を提供できますが、現実のタスクで同様の「プロセスレベルの報酬」を設計するのは容易ではないからです。

まとめ：リソース配分のパラダイムシフト

この論文は、大規模モデル開発において「事前学習の質と量が事後学習の上限を決定づける」という新たな基準を示しました。限られた計算資源の中でモデルを最適化する際、強化学習に過度な期待を抱くのではなく、まずは事前学習段階でのリソース配分を見直すことが、性能向上への鍵となるでしょう。ただし、チェスという特殊環境での知見であるため、自然言語処理などへの適用には慎重な検証が必要であることを忘れてはなりません。