事前学習を10倍効率化、トリリオンパラメータへスケーリング

計算効率の高い事前学習と、トリリオンパラメータ規模へのスケーリングに関する研究アップデート

フロンティア領域の事前学習は、大規模ラボにしかできないゲームだとよく言われます。私たちがまだ 10 万個ものチップを保有していない以上、唯一の道はアルゴリズム効率性の向上です。このアプローチを積み重ねてきた結果、私たちの事前学習レシピは、主要なオープンウェイトベースモデルと比較して計算効率が 10 倍以上に改善されました。

DeepSeek V4 Pro Base と同等のパフォーマンスを、必要な FLOPs（浮動小数点演算回数）が約 50 分の少ない量で達成しています。これは GPT-3 の事前学習に必要な計算資源の半分程度にあたり、GB200 グラフィックボードを使用した場合のコストは約 50 万ドルです。さらに計算リソースを 10 倍（約 400 万ドル）に拡大してスケーリングを試みたところ、パレクスリティ評価において公開されているすべてのオープンベースモデルを明確に上回る結果となりました。図 1 に示されるスケーリング則によれば、DeepSeek V4 Pro のレシピで同程度の能力を持つモデルを訓練する場合、コストは 1 億ドルを超えると推定されます（これは利用可能なデータの規模についても考慮していない数字です）。もちろん、私たちはここでスケーリングを止めるつもりはありません。

事前学習、エージェント型強化学習、そして長文コンテキストの 3 つが揃えば、超人的なコーディングエージェントを構築し、AI の研究開発を自動化することが可能だと考えています。まずは 長文コンテキスト から取り組みを始めました。今回のブログ記事では、事前学習について詳しく解説します。

バイトあたりのビット数（低いほど優れている）

バイトあたりのビット数が少ないほど、モデルの効率性は高まります。学習に必要な計算量は対数軸上の FLOPs で表されます。実線は現在の訓練レシピにフィットした曲線であり、破線の部分は最大規模の実行を超えた予測値を示しています。

プライベートコードリポジトリ

バイトあたりのビット数が少ないほど効率的です。学習計算量は対数軸上の FLOPs です。実線は現在のレシピに適合しており、破線は最大実行規模を超える予測を表します。

保留中の研究論文

バイトあたりのビット数が少ないほど効率性は向上します。学習計算量は対数軸上の FLOPs で表されます。実線は現在の訓練レシピにフィットした曲線であり、破線の部分は最大規模の実行を超えた予測値を示しています。

保留された数学問題の推論

6·N·D 訓練 FLOPs

図 1：トレーニング計算量に対する事前学習のスケーリング法則。主要なオープンウェイトベースモデルとの比較。

保持データセット上でバイトあたりのビット損失（トークナイザーの違いを正規化する指標）を測定し、スケーリング法則 に適合させて、特定の能力レベルに到達するために必要な計算量を予測しました。トレーニング計算の効率が高ければ高いほど、あらゆる予算規模でより強力なモデルが実現できます。

DeepSeek、Moonshot（Kimi）、NVIDIA から利用可能な最新のオープンウェイトベースモデル2 を評価しました。Claude、Gemini、GPT-n など多くのモデルのベースモデルは非公開ですが、Kimi K3 や Meta の Muse Spark は、それぞれ Kimi K2 を 2.5 倍、3.3 倍上回る性能を示しています。オープンモデルの logprobs（対数確率）については、GB200 と GB300 の両環境で vLLM と SGLang を使用して評価しましたが、いくつかの バックエンド に 問題 があることが判明しました。これをさらに確認するため、Fireworks[https://fireworks.ai/] と連携し、同社が独自に開発した推論エンジンでのベースライン logprobs を検証しました。モデルはトレーニングに使用されたパーサーの特性を学習してしまう可能性があるため、評価セットには事前学習パイプラインで使用しているパーサーや OCR と異なるものを用意しました。

一般化能力の評価

一般化能力を測定するため、未使用データ（Figure 1）における損失を評価しました。コード評価には、自社開発のコードベースと他社スタートアップから取得した非公開のコードベースを使用しています。推論能力の評価では、Kimi K3 を用いて未使用かつ非公開の数学問題に対して思考連鎖 (CoT) と段階的な解説を生成し、正解のみをフィルタリングしました。テキストおよび研究分野の評価には、最近発表された引用数の少ない研究論文を採用しました。また、サードパーティ製のオープンソースコードや、トレーニングデータと比較して 96 文字のウィンドウ内で正規化されたテキストが一致する、または Jaccard 類似度が閾値を超える文書は除外しています。

知識の評価

一般化能力に加え、主要ドメインにおけるモデルの知識をテストし、データセットにどのようなギャップがあるかを特定することも目的としています。例えば、未使用の研究論文評価セットを分野ごとに分解して分析できます。

bits per byte（値が低いほど優れている）

bits per byte の値が小さいほど望ましいです。トレーニング計算量は対数軸上の FLOPs で表されます。曲線は現在のレシピに基づいた適合結果を示しており、破線部分は最大規模の学習実験を超えた予測区間を表しています。

0.37 0.43 0.48 0.54 0.59 1

10^21 10^22 10^23 10^24 10^25

DeepSeek V4 Flash: 0.450 bpb

DeepSeek V4 Pro: 0.437 bpb

Kimi K2: 0.458 bpb

Nemotron 3 Ultra: 0.434 bpb

V5 e21: 0.548 bpb

V5 e22: 0.481 bpb

V5 e23: 0.425 bpb

V5 e24: 0.400 bpb

62x DSv4 Flash

120x DSv4 Pro

108x Kimi K2

69x Nemotron 3 Ultra

*未使用のコンピュータサイエンス論文*

バイトあたりのビット数が少ないほど、モデルの効率は高まります。学習に必要な計算量は対数軸上の FLOPs で表されます。実線は現在のレシピに適合した曲線であり、破線部分は最大規模の実行を超えた予測値を示しています。

検証用エンジニアリング論文データ

バイトあたりのビット数が少ないほど効率的です。学習計算量は対数軸上の FLOPs です。実線は現在の構成にフィットし、破線は最大規模のテストを超える範囲での推定値です。

• DeepSeek V4 Flash: 0.365 bpb（既存モデル比で約 12 倍効率化）
• DeepSeek V4 Pro: 0.354 bpb（既存モデル比で約 21 倍効率化）
• Kimi K2: 0.367 bpb（既存モデル比で約 16 倍効率化）
• Nemotron 3 Ultra: 0.360 bpb（既存モデル比で約 22 倍効率化）

検証用数学論文データ

バイトあたりのビット数が少ないほど効率的です。学習計算量は対数軸上の FLOPs です。実線は現在の構成にフィットし、破線は最大規模のテストを超える範囲での推定値です。

• DeepSeek V4 Flash: 0.433 bpb（既存モデル比で約 16 倍効率化）
• DeepSeek V4 Pro: 0.422 bpb（既存モデル比で約 29 倍効率化）
• Kimi K2: 0.440 bpb（既存モデル比で約 29 倍効率化）
• Nemotron 3 Ultra: 0.425 bpb（既存モデル比で約 24 倍効率化）

検証用物理学論文データ

バイトあたりのビット数が少ないほど効率的です。学習計算量は対数軸上の FLOPs です。実線は現在の構成にフィットし、破線は最大規模のテストを超える範囲での推定値です。

• DeepSeek V4 Flash: 0.433 bpb（既存モデル比で約 16 倍効率化）
• DeepSeek V4 Pro: 0.422 bpb（既存モデル比で約 29 倍効率化）
• Kimi K2: 0.440 bpb（既存モデル比で約 29 倍効率化）
• Nemotron 3 Ultra: 0.425 bpb（既存モデル比で約 24 倍効率化）

学習に必要な FLOPs の総量は、6·N·D で計算されます。

図2：研究分野ごとの有効計算量

特定のソフトウェアツールのドキュメントやアライメント研究の主要論文など、細粒度のコンテンツバケットを収集することで、より精密なシグナルを得ることができます。一般化評価とは異なり、事前学習コーパスから重要な情報（例えばその分野の主要論文）を完全に削除したくはありませんが、シーケンスの暗記に対して報酬を与えることは避けなければなりません