子供が AI より言語学習に優れる理由、なお不明

記事の3ポイント

1. 1

   データ効率の格差（Data Efficiency Gap）

   人間の子供は約100万語程度の言語経験で母語を習得するが、現代のLLMはそれを再現するために数十兆トークンという膨大なデータを必要としており、この非対称性が「データ効率の格差」として指摘されている。

2. 2

   学習規模の比較と物理的イメージ

   Claudeのような大規模モデルが学習した言語量は「1世代の都市全体」に相当し、紙に印刷すれば国際宇宙ステーションより高くなるが、子供が20歳までに経験する言葉はわずか20メートルの積み重ねで済む。

3. 3

   データ枯渇とモデル拡大の限界

   MetaのLlama 3.1や将来のフロンティアモデルがさらに巨大なデータセットを必要とする中、インターネット上の利用可能なデータには物理的な上限があり、2030年代には学習用データの供給が枯渇する可能性が示唆されている。