AI の急速な進歩は主にデータ由来、モデル改良より寄与大

ここ数年で目覚ましい進歩を遂げた AI の発展において、その多くはデータによるものなのか、それともモデル自体の改善によるものなのか。この問いへの答えは、最先端ラボの経済性や今後の進展速度に大きな影響を与える。

本研究では、2019 年から 2025 年にかけての事前学習（pretraining）に焦点を当て、比較的小規模なスケールでこの問いを検証する。各年には、その年の公知のアルゴリズム改良（アーキテクチャ、オプティマイザ、初期化手法、学習率スケジュール、ハイパーパラメータなどの改善）を体系化した新しいオープンモデルレシピが公開されている。同時に、より広範なスクレイピングや新たなキュレーション・抽出・フィルタリング技術によって作成された、新しいパブリックデータコーパスも毎年登場している。

本研究では、これらの年代表徴的なモデルレシピとデータコーパスの組み合わせを、異なる規模のトレーニング計算リソース（最大 1e19 FLOPs）で訓練し、その効果を評価する。

異なるモデルを固定されたデータセットに対するクロスエントロピー損失で比較することはできません。なぜなら、各モデルが学習するデータセット自体が変化しているからです。そのため、ここでは OLMES 評価（10 の比較的簡単なベンチマークを統合したもので、主に多肢選択式の QA を含む）を用いて、モデルの最終的な能力を測定しました。

ただし、事前学習時の損失ではなく最終的な能力を評価すると、結果にノイズが混入する可能性があります。以下のグラフをご覧いただくとお分かりいただけるでしょう。よりクリーンな数値を得るため、私たちは複数のシードで実行を行いました。

2019 年から 2025 年にかけて、計算リソース（1e19 FLOPs）あたりの効率化において、モデル自体の改良による寄与は 3.7 倍であるのに対し、データ品質の向上による寄与は 12.0 倍に達し、全体の 3.24 倍の改善のうち大半がデータ側の進化から生まれたことが分かりました3。

以下に示すグリッドでは、2019 年のデータとアーキテクチャを基準とした場合と比較して、3.16e18 FLOPs の計算リソースで学習したモデルが、最終的な能力テストにおいてどれほど性能向上を示しているかを表しています4。

データとモデルの改良による効果は、主に独立しており相互に作用しないことが分かりました。つまり、あるモデル改良の効果を発揮させるために特定のトレーニング用データセットが必要というわけでもなければ、その逆もありません。線形モデルを用いた分析では、OLMES スコアの変動の 88% を、モデルとデータの改良による相加効果で説明できることが示されました。

参考までに、2019 年から 2025 年にかけてデータ側とモデル側のそれぞれで何が変わったのか、簡単に振り返っておきましょう。

モデル側では、GPT-2 から OLMo-2 へと進化を遂げました。この間には、オプティマイザーや位置エンコーディング、正規化手法、活性化関数、初期化方法などにおける重要な革新が盛り込まれています5。

データ側では、2019 年に Reddit で十分な高評価を得たページをリンク元として収集した OpenWebText からスタートしました。これは重複除去とフィルタリングを経て約 9B トークンに圧縮されたもので、GPT-2 の学習データの大部分を占めていました。一方、2025 年現在では UltraFineWeb などのオープンソースデータセットが利用可能になっています。これらはインターネット全体をスクレイピングして作成されているため規模が桁違いに大きく、さらに高度なフィルタリング技術を採用しています。例えば、どのデータがモデルの性能向上に寄与するかを実証的に予測する分類器を訓練し、それに基づいてデータを精選する手法などが用いられています。

我々の結果に対する素直な解釈は、2019 年から 2024 年にかけての AI の進歩（事前学習の時代）の大部分が、データエンジニアリング（抽出やキュレーションなど）の向上によるものであり、その期間中のモデル研究自体はそれほど重要ではなかったというものです。

しかし、モデルの改良における価値を捉える上で、これはおそらく誤った考え方です。その主な貢献は、必ずしも計算効率の向上（つまり、より少ない FLOPs で同等のパフォーマンスを実現すること）にあるわけではありませんでした。むしろ重要だったのは、最初から膨大な量の計算リソースを実際に活用可能にした点にあります。

パラメータ数やコンテキスト長、実行時間、そしてクラスターの規模が拡大するにつれて、さまざまな問題が発生しやすくなります（勾配の爆発または消失、メモリと帯域幅の枯渇、トレーニングが非現実的に遅くなるなど）。モデル研究の多くは、これらの制約を取り除いたり、スケーリングの壁を押しやったりすることに注力してきました。MoE（Mixture of Experts）やスパースアテンションの派生型、安定性に関する革新（ノーム配置や初期化手法など）、そして FlashAttention に代表されるシステム・カーネルレベルの最適化など、最も重要なイノベーションの多くがこのカテゴリーに分類されます。

removing or pushing back these constraints to scaling FlashAttention

ここで調査したデータ改善の効果が、大規模モデルにおいてどれほど重要になるかは疑問です。小規模モデル（今回訓練したようなもの）は、モデル自体が持つ容量が少ないため、データの質を高めることで大きな性能向上が見込めます。つまり、何を入れるかを非常に慎重に選ばなければなりません。

一方、大規模モデルには余剰な容量が大量にあるため、たとえゴミのようなデータでもできるだけ多く投入し、確率的勾配降下（SGD）の魔力によって信号とノイズを分離すればよいという考え方もあります。もし厳格なフィルタリングを選択した場合、数十回のエポックが必要になりますが、これは平均品質は低くてもデータセットが大きい場合よりも実証的に性能が劣ることがわかっています。実際には、RL やデプロイに使用される推論計算量を最小化するために、最先端モデルは Chinchilla の最適値に対して最大 100 倍も過学習しているという事実を考慮すると、厳格なデータキュレーションはさらに有害になります。

例え話をすれば、ヨットとコンテナ船の違いのようなものです。コンテナ船が必ずしも速いわけではありませんが、数千トンの貨物（事前学習データの数十兆トークンに相当）を運ぶことができ、荒れた海（数万台の GPU にわたる安定した訓練に相当）でも転覆しません。

コンテナ船がより大型で頑丈になった今、積載する貨物の詳細を厳密に気にする必要はありません。遠くても有用そうに見えるものをすべて積み込めばよいのです。

一方、2019 年の小さな脆弱な帆船では、最も価値のある貨物だけを慎重に選んで積む必要がありました。

しかし、事前学習の進歩が単にこの船により多くの貨物を積み込むことに過ぎないとしたら、私たちはすでに貨物が尽きつつあるのでしょうか。これは「データの壁」に関する問いであり、合成データがその壁を越えるのにどれほど役立っているかという問題です。

合成データは現在、研究機関で広く利用されていますが、モデルの性能を損なうことなくデータセットを効果的に拡張できるかどうかについては、まだ調査していません。もし進歩に限界があるなら、事前学習の主な推進要因は停滞するでしょう。なぜなら、インターネットから新たに生成されるコンテンツが増えるわけではないからです。また、固定されたデータセットをいかに精選しても、そこには限界があります。

明確に言っておきますが、これを懸念する積極的な理由は現時点ではありません。しかし、事前学習の進歩を牽引する上でデータがいかに重要であるかを考えれば、これは調査すべき重要な課題と言えるでしょう。

Ryan Greenblatt 氏は、過去の事前学習データセットにおける改善の多くが、自動化された研究者でも実証的に検証できるような進歩に見える点を指摘しています。具体的には、異なるデータで訓練したモデルを比較するアブレーション実験を実行し、そのパフォーマンスを確認するようなアプローチです。したがって、2019 年以降の事前学習を推進してきたデータの進展が、AI の研究開発（R&D）を自動化した際に劇的に加速する可能性も、私たちの結果と矛盾しません。

ただし、事前学習単独の進歩が加速するか減速するかという問い自体が、AI 全体の進展にとって最も重要な課題ではないことを明確にしておきたいのです。過去 2 年間の大きな成果の多くは、強化学習（RL）によるものだったからです。

次に挙げるのは、今後取り組むべき有望な研究分野や、解明すべき重要な質問です：

この実験をより大規模に実行し、データとモデルの改善がどちらがスケールに依存しているか（そしてその結果、フロンティアにおいてどちらがより大きなインパクトを持つのか）を確認することも可能です。

事前学習および事後学習において、新規の高品質データの限界価値は、最終的な能力という観点からどのように測定できるでしょうか？

私たちは、合成データがどの程度効果的に機能するかを広く知りたいと考えています。具体的には、「高品質なデータのコーパスが少量しかない場合、それを複数のエポックにわたって単にトレーニングするのと比較して、合成データ生成によって拡張した方がどれほど性能が向上するのか」という問いを検証することが挙げられます。

また、データブローカーや環境プロデューサーなどへの研究費支出と、計算資源（compute）および研究者への支出を比較することで、データの暗黙的な価値を算出することも可能です。

私たちは、AI の進展を牽引する上でデータがどのような役割を果たしてきたかを調査したかったのです。この問いを検証する方法は他にも多数存在し、私たちのアプローチよりも巧妙で有益な方法もあるかもしれません。さらに、今回の実験も極めて小規模なスケールで行われたものです。何か見落としている可能性も十分にあると考えており、他者がどのようにこの問いに取り組むかについて意見を聞きたいと思っています。できれば、その結果も共有していただければ幸いです。

特に、多くの有益な議論をいただいた Charlie O'Neill に感謝いたします。

これらのモデルレシピは、異なるデータセットを用いてゼロから事前学習を行います。計算リソースの予算は 1e17、3.16e17、1e18、3.16e18、そして 1e19 FLOPs の 5 つの段階で設定し、複数の独立したシード6 を用いて実験を行いました。計算リソースの算出基準は、名目上の計算量 C = 6ND（N は埋め込み層以外のパラメータ数、D はデータトークン数）を採用しています。

各計算予算において、パラメータ数（およびその結果として学習するトークン数）を変化させ、各トレーニングレシピとデータセットの組み合わせにおける最適な計算量のバランスを特定します。この最適点は、データセットからのホールドアウト損失を用いて決定されます。その後、各組み合わせの下流タスク性能のスケーリング曲線を得て、最終的に計算量乗数を算出します。

すべての実験において、トークナイザーとコンテキスト長は統一しました。使用したのは GPT-2 BPE（tiktoken 実装、語彙数 50,257）で、コンテキスト長 T は 2048、バッチサイズは 262,144 トークンです。

トレーニングの最終的な性能はハイパーパラメータに大きく依存します。もちろん、すべての可能なハイパーパラメータの組み合わせを網羅的に探索することは不可能です（ハイパーパラメータ調整はまさに芸術の域にあります）。そのため、私たちは可能な限りこれを統制しようと努め、特に学習率の最大値を最も重要なハイパーパラメータとして扱っています。

一部のアルゴリズムには、最適な学習率をどの値に設定すべきかを示す仕様も存在します。これはモデルサイズやデータ予算、バッチサイズなどの関連変数に対する関数として定義されています。これらは、私たちが最適と考える学習率の妥当な前提条件（プリア）として機能します。

まず、学習率を 5 つのアンカーポイントでスウィープします。これはモデルサイズが異なる 3 パターンと、D/N レシオが異なる 2 パターンの組み合わせです。これらのアンカーポイントから最適な学習率を特定し、パラメータ形式として最適化された学習率の式にフィットさせます。

OLMo-2 を除くすべてのモデルレシピでは、共通の指数 *a* と *b*、およびモデル固有の初期学習率 lr₀ にフィットします。一方、OLMo-2 については、レシピで指定された最適な学習率をそのまま採用しています。これは、Ai2 が小規模モデル向けのスケールアップパス（ladder）をレシピの一部として公開しており、それが我々が調査している規模における最適なハイパーパラメータを示していたためです。また、3.16e18 FLOPs の計算最適化ポイントにおいて、実際の運用で使用する学習率が最適値と同等か、あるいは極めて近いことを確認しています。

主要な技術結果

グラフ上のいくつかの異常現象の説明

予想通り、モデル軸およびデータ軸の両方で、時間経過とともに計算効率が全体的に向上していることが観察されます。ただし、以下のような外れ値も確認されました：

NeoX は 1e19 の計算量で GPT-2 よりも性能が劣りますが、1e17 から 3.16e18 の範囲では上回っています。これは OLMES 評価におけるノイズの影響かもしれません。一方、FineWeb-Edu コーパスの未学習データ（held-out pretraining loss）での NeoX のパフォーマンスは GPT-2 よりも優れています。

The Piles は OpenWebText に比べて大幅に性能が低いようです。これは驚くべきことではありません。The Piles の主な改善点は、フィルタリングではなくデータコーパスの多様性にあります。PubMed や arXiv の論文、GitHub のコード、法廷意見、特許、議会議事録などから厳選された 22 ソースを混合したものです。これらのトークンにおいて、OLMES（英語ウェブ文章の選択式問題）へのドメイン横断的な転移効果は限定的である可能性が高く、その結果、計算効率が悪化していると考えられます。ただし、The Piles はサイズが大きいため、より大規模なスケールでは（非常に小さな）OpenWebText を最終的に上回るはずです。

NeoX と The Piles の計算量乗数値は外挿によって算出されたものであり、これによりさらに誤差が生じる可能性があります。

計算量乗数の算出方法と誤差範囲について

計算スケーリング曲線上の各点は、複数の独立したシードで実行されたトレーニングランから算出されています。ここに表示されるエラーバーは、それらのシードにおける OLMES 評価値の標準偏差を示しています。

まず、参照モデルやデータコーパスについて、特定の計算量レベルでの性能基準となる参照レベルを想定します。

次に、候補となるモデルまたはデータコーパスの計算スケーリング曲線から、その参照レベルに初めて到達する最も左側の点を探し出し、計算量の乗数（compute multiplier）を算出します。これは、参照に必要な計算量を候補に必要な計算量で割った比率として定義されます。

この計算量の乗数におけるエラーバーは、推定パイプライン全体のパラメトリックブートストラップから得られたもので、1 標準偏差の区間を表しています。

ただし、モデルレシピの実際の不確実性は、エラーバーが示す範囲よりも大きいことを強調しておきます。これは、ハイパーパラメータチューニングの範囲に限界があることによる追加の不確実性、および最終的な性能や保持された損失（held-out loss）が学習率やバッチサイズなどの具体的な設定に敏感に依存しているためです。

また、アブレーション実験が計算効率の向上（CEG）をすべて捉えきれていない理由も多数存在することに留意する必要があります。実際、2019 年から 2025 年にかけて、モデル側では年間 1.24 倍 [1.19, 1.29]、データ側では年間 1.51 倍 [1.45, 1.57] の計算効率向上が観測されました。両方を合わせた全体では、年間 1.57 倍 [1.49, 1.65] の CEG が確認されています7。これは Anson Ho らの推計する年間 3 倍という値 https://arxiv.org/abs/2403.05812 と比べると明らかに低い数値ですが、その理由はいくつかあります。

• 効率化の多くは規模依存性があり、長いコンテキスト長において特に効果を発揮する可能性があります。しかし、私たちが現在扱っているスケールでは、これらの恩恵を十分に享受できていません。例えば、OLMo-2 のレイヤーや QK ノルム、NeoX の並列アテンションと MLP ブロックなどが該当します。

推論効率の最適化（例：LLama-3 の GQA に代表される KV キャッシュ最適化）は、本研究における計算量倍率には反映されていません。同様に、トークナイザーの改善についても調査していません。

私たちが算出した計算量倍率は、各年のモデルレシピやデータコーパスの選択に敏感に影響されます。私たちは「代表的」と考えるモデルレシピやデータコーパスを採用しましたが、これがその年における「最良」であると断言するものではありません。

本研究では、計算量倍率を特定のパープレキシティ指標への到達ではなく、10 の比較的簡単なタスクタイプを組み合わせた OLMES ベンチマークに対するものとして評価しています。もしコーディングや問題解決に特化した他のベンチマークを対象とした場合、得られる数値は大きく異なり、おそらくデータエンジニアリングにおいて全く異なる手法が評価されることになるでしょう。

また、新しいソースからの高品質データの収集、人間による専門家生成データ、合成データ生成手法など、データ側の他の改善点については調査していません。私たちが調査したコーパスのほとんどは、利用可能なデータセットを拡大するものではなく、Common Crawl の一部（サブセット）を選別したものです。これは明らかに有限の在庫を消費する行為であり、このレバーを動かせる限界には限りがあります。

モデルレシピとデータコーパスによる効果の独立性

モデルレシピとデータコーパスの寄与がどれほど独立しているかを調べるため、私たちは調査を行いました。3.16e18 FLOPs における OLMES スコアのグリッドを分析した結果、OLMES スコア = 平均値 + モデル効果 + データ効果という線形回帰モデルの決定係数（R²）は 0.88 となりました。これは、OLMES スコアの変動の 88% がモデルとデータの改善による相加的な効果で説明可能であり、残りの約 12% は両者の相互作用や高次項、評価ノイズに起因することを意味します。この結果から、複雑なモデルとデータの相互作用（特定のデータエンジニアリングがモデル改良の恩恵を受ける、あるいはその逆といったケース）は、全体としては相対的に小さい影響しか持たないと推測されます。

1

Anson Ho 氏らの研究 2 では、事前学習におけるソフトウェア効率の改善が年間約 3 倍（95% 信頼区間：1.5 倍〜64 倍）であると推定されています。Ho 氏は自身の ブログ で、「実際のソフトウエアの進歩は、データ品質の向上によるものが大半を占めている可能性が高い」と指摘しています。また、「スケーリングに依存するアルゴリズムの変更をほんの数種類拡大しただけで達成されている」とも述べています。

2

計算資源（Compute）の算出には、C = 6ND という名目上の規約を使用しています。

3

2019 年のモデルレシピは GPT-2、2025 年は OLMo-2 です。データコーパスについては、2019 年に OpenWebText を使用し、2025 年には UltraFineWeb を採用しました。

4

なお、GPT3 の実装では、Pile データセット上でトレーニングの不安定性（勾配の急激なスパイク）が発生したことがありました。

これらには、オプティマイザーの改善、ウォームアップと減衰スケジュールの導入、絶対位置学習を RoPE に置き換えること、RMSNorm と SwiGLU ゲート付き MLP の採用、ノーマライゼーション順序の変更、QK ノルム、Z-ロス正則化、そして初期化の洗練などが含まれます。

計算量スケーリングプロットについては、少なくとも 3 つのシードを使用しました。一方、モデルレシピとデータコーパスの組み合わせを 7×7 のグリッドで構成し、予算を 3.16e18 に設定した場合の分析では、各ケースごとに 1 つのシードのみを使用しています。

年次成長率 1.57 倍という数値は、2019 年のモデルとコーパスから 2025 年のそれらへの総合的な改善度合いを計算したものであり、「モデル側の 1.24 倍の向上」と「データ側の 1.51 倍の向上」を単純に掛け合わせた値ではありません。