事前学習を10倍効率化、トリリオンパラメータへスケーリング

記事の3ポイント

1. 1

   計算効率の劇的向上

   同社の新しい事前学習レシピは、主要なオープンウェイトベースモデルと比較して計算効率が10倍以上向上しており、DeepSeek V4 Pro Baseと同等の性能を約50分の1のFLOPsで達成した。

2. 2

   コスト削減の実現

   この手法を用いた場合、GPT-3クラスの計算量の半分程度（GB200環境で約50万ドル）で同等モデルを訓練可能であり、同様の能力を持つモデルを従来のレシピで訓練するには1億ドル以上の費用が必要となる。

3. 3

   性能評価での優位性

   計算量をさらに10倍に拡張した実験において、同社はパズル性（perplexity）評価で現在公開されているすべてのオープンベースモデルを有意に上回る結果を示した。