基盤モデルの終焉か　アーシー AI シン氏

基盤モデルの終焉か？「人類の知識」から「推論能力」へのパラダイムシフト

アーシー AI（RCAI）の事前学習リード、Varon氏は「基盤モデルは死んだ」という衝撃的なタイトルで、AI業界の根本的な変化を指摘しています。これは従来の「ウェブテキストで人類の全知識を蓄積するモデル」という概念が終焉しつつあることを意味します。OpenAI の o1 や DeepSeek R1 の登場により、強化学習（RL）が主要な学習手段となり、モデルは単なる知識の倉庫ではなく、推論や自律行動（エージェント）に特化した「事前知識（prior）」を持つ存在へと進化を遂げているのです。

従来の基盤モデル：人類の知識を蓄積する「辞書」

かつての言語モデル開発において、「事前学習（pre-training）」は計算リソースの大部分を占める最重要フェーズでした。この段階でモデルは、ウェブスクリプトや書籍、ウィキペディアなどを通じて「人類の全知識」を吸収し、次単語予測タスクを通じて世界に関する表現を構築します。

GPT-3 の時代には、Common Crawl や WebText-2 といったウェブデータがトレーニングデータの約 85% を占めていました。Llama 3 でも一般知識は 50% を超えており、モデルの性能はこの「知識の蓄積量」によってほぼ決定づけられていました。

「当時の基盤モデルは、人類の全知識を反映したものであり、事前学習がモデルの良し悪しを決める核心でした。」

この時代の「事後学習（post-training）」や強化学習（RL）は、蓄積された知識をチャット形式で引き出すための微調整に過ぎず、「最後の仕上げ」程度の役割しか果たしていませんでした。

転換点：強化学習が「仕上げ」から「主要な学習」へ

2024 年の OpenAI o1 と、2025 年 1 月の DeepSeek R1 の登場がこの状況を劇的に変えました。これらのモデルは、強化学習を単なる微調整ではなく、推論能力や複雑なタスク遂行能力を飛躍させる主要な学習フェーズとして位置づけました。

o1 は数学コンテスト（AIME）での成果を示し、R1 はコード生成やソフトウェア環境との対話を通じて、モデルが自律的に作業を行う「エージェント」としての能力を開花させました。これにより、強化学習は単なる「飾り」ではなく、モデルのパフォーマンスを決定づける核心へと昇格したのです。

「強化学習はもはや『最後の仕上げ』ではありません。これはモデルの性能を劇的に向上させる主要な学習手段となりました。」

データ構成の激変：ウェブテキストからコード・合成データへ

このパラダイムシフトに伴い、トレーニングデータの構成も劇的な変化を遂げています。

1. ウェブテキストの比率低下

GPT-3 時代には 85% を占めていたウェブテキスト（WebText）は、最新のモデルでは約 15% まで減少しました。これは、ウェブテキストが downstream の RL パフォーマンスに寄与する価値が相対的に低下し、代わりにコードや STEM（科学・技術・工学・数学）分野のデータが支配的になったことを示しています。

2. 合成データの台頭と「中層トレーニング」

一方、MAI Thinking 1 のように「合成データを一切使わない」というアプローチも存在しますが、多くのモデルでは合成データの活用が進んでいます。特に注目すべきは、従来の事後学習データ（SFT データ）や合成データを事前学習の段階から組み込む「中層トレーニング（mid-training）」の登場です。

「合成データを活用することで、モデルは最初からインストラクションやエージェントタスクの形式を学び、より高品質なトークンでトレーニングできます。」

アーシー AI の事例では、シードデータを基に多様な表現を生成する「リフレージング」技術を用いて合成データを大量に作成し、事前学習データセットに組み込みました。これにより、モデルは最初から特定のタスクの形式や、強化学習で必要な原子的なスキル（atomic skills）を備えることができます。

MOE の負荷分散問題と計算リソースの再配分

この変化は、Mixture of Experts (MOE) アーキテクチャにおける課題解決にも寄与しています。MOE モデルでは、専門家の負荷分散が重要な課題ですが、事前学習で見るデータ分布と事後学習（RL）で見せるデータ分布が大きく異なると、バランスが崩れるリスクがあります。

中層トレーニングや合成データの活用により、モデルは最初から安定した表現を学習し、強化学習段階での負荷分散問題を未然に防ぐことが可能になります。

さらに、計算リソースの配分も逆転しつつあります。Xiaomi の Mimo Labs や Composer 2.5 の事例に見られるように、最終モデルにおける強化学習への割り当て計算量は、事前学習と同等かそれ以上に達しています。これは、強化学習が「知識を適用する場」ではなく、「能力を獲得する場」としての地位を確立したことを意味します。

「強化学習が膨大な計算リソースを支配する現在、事前学習は『強化学習のための準備』として再定義されるべきです。」

結論：基盤モデルは「辞書」から「推論エンジン」へ

アーシー AI シンの分析が示す通り、現在の言語モデル開発は「事前学習→事後学習→強化学習」という線形的なプロセスではなく、「教師あり学習（次単語予測）」と「強化学習」という 2 つの大きなパラダイムで捉えるべきです。

基盤モデルの定義そのものが変わりつつあります。もはやそれは人類の知識を蓄積した静的な辞書ではなく、強化学習環境下で推論し、自律的に行動するための原子的なスキルと表現能力を備えた「動的なエンジン」へと進化しています。業界は今後、合成データ生成技術や強化学習基盤の整備競争において、従来のウェブスクレイピング依存からの脱却を加速させることになるでしょう。