AI の急速な進歩は主にデータ由来、モデル改良より寄与大

記事の3ポイント

1. 1

   データ改善の優位性

   2019年から2025年にかけての計算効率向上において、データ品質の改善による寄与がモデル改良による寄与を3.24倍上回っている。

2. 2

   具体的な数値分析

   1e19 FLOPsの計算予算下で比較すると、データ由来の効率化は12.0倍である一方、モデル改良によるものは3.7倍に留まっている。

3. 3

   相乗効果の欠如

   データとモデルの改善は互いに独立しており、特定のアーキテクチャ変更が特定のデータセットを必要とするといった相互作用は見られない。