AIスケーリングの神話

これまでに、より大きな言語モデルほど能力が高まることが証明されてきました。しかし、過去は未来を予測するのでしょうか？

一つの一般的な見解では、これまで維持されてきた傾向がさらに多くの桁にわたって続き、それが潜在的に人工一般知能（AGI）へと私たちを導くと期待すべきだとされています。

この見解は一連の神話と誤解に基づいています。スケーリングの予測可能性のように見えるものは、研究が示したことの誤解です。加えて、大規模言語モデル（LLM）の開発者はすでに高品質なトレーニングデータの限界に達している兆候が見られます。また業界ではモデルサイズの縮小に向けた強い下押し圧力が生じています。AI がスケーリングを通じてどこまで進化するかを正確に予測することはできませんが、スケーリング単独で AGI につながる可能性はほぼないと考えています。

「スケーリング法則」はしばしば誤解されている

スケーリング法則に関する研究では、モデルサイズ、トレーニング計算量、データセットサイズを増やすと、言語モデルが「より良くなる」ことが示されています。その改善の予測可能性は驚くほど顕著で、多くの桁にわたって成立しています。これが、主要な AI 企業から定期的により大きく、より強力なモデルがリリースされ、スケーリングは今後も見通せる範囲で続くだろうと考える人々が多い主な理由です。

しかし、これはスケーリング法則の完全なる誤解です。「より優れた」モデルとは具体的に何を指すのでしょうか。スケーリング法則は単にパープレキシティ（予測誤差）の減少、つまりモデルがシーケンス内の次の単語をどれだけよく予測できるかという点での改善のみを定量化するものです。もちろん、パープレキシティはエンドユーザーにとってほぼ無関係です—重要なのは「創発的機能」であり、これは規模が大きくなるにつれて新しい能力を獲得しようとするモデルの傾向を指します。

創発性は法則的な振る舞いによって支配されているわけではありません。これまでにスケールの拡大が新たな能力をもたらしてきたことは事実ですが、これが無限に続くことを確信させるような経験的な規則性はありません。

なぜ創発性が無限に続かないのでしょうか。これは大規模言語モデル（LLM）の能力に関する核心的な議論の一つに触れるものです—それらは外挿が可能なのか、それともトレーニングデータに含まれるタスクのみを学習しているのかという点です。証拠は不十分であり、それを解釈する合理的な方法は多岐にわたります。しかし、私たちは懐疑的な見解に傾いています。未知のタスクを解決するためのスキル習得効率を検証するために設計されたベンチマークにおいて、LLM は概して低いパフォーマンスを示します。

もし LLM がトレーニングで見たこと以上のことをほとんどできないのであれば、いずれはより多くのデータを持っても役立たなくなる時が来ます。なぜなら、将来そのデータに含まれることになるあらゆるタスクはすでに表現されているからです。すべての従来の機械学習モデルはいずれ頭打ちになります—LLM も例外ではないかもしれません。

トレンドの外挿は無根拠な推測に過ぎません

継続的なスケーリングに対する別の障壁は、トレーニングデータの入手です。企業はすでに利用可能なすべてのデータソースを活用しています。さらにデータを獲得できるのでしょうか？

これは一見すると可能に思えるほど簡単ではありません。人々は、YouTube の全動画を文字起こしするなど新しいデータソースが利用可能なデータ量をもう 1 つないし 2 つの桁増やすと考えることがあります。確かに YouTube には驚異的な 1500 億分の動画があります。しかし、その大部分は使用可能な音声を持たず（音楽、静止画像、ゲーム映像などであるため）、Llama 3 がすでに利用している 1 兆 3000 億トークンよりもはるかに少ない推計値に落ち着きます。さらに、文字起こしされた YouTube のオーディオに対する重複除去と品質フィルタリングが行われる前段階であり、これにより少なくとももう 1 つの桁が削ぎ落とされる可能性が高いです。

人々は企業がいずれトレーニングデータを「使い果たす」のかについて議論することがありますが、これは意味のある問いではありません。トレーニングデータは常に存在しますが、それを入手するにはコストがかさみます。そして今や著作権保有者が目を覚まし、補償を求めているため、そのコストは特に高くなる可能性があります。金銭的なコストに加え、社会がデータ収集慣行に反発する可能性があるため、評判リスクや規制上のコストも生じるかもしれません。

指数関数的なトレンドは永遠に続くことはないことを確信できます。しかし、技術的なトレンドがいつ頭打ちになるかを予測するのは難しいものです。特に成長が徐々にではなく突然止まる場合、その傾向は顕著です。トレンドライン自体には、それが頭打ちになろうとしているという手がかりは含まれていません。

時間経過に伴う CPU クロック速度。縦軸は対数スケールです。[Source]

有名な例として、2000 年代の CPU クロック速度と 1970 年代の飛行機速度が挙げられます。CPU メーカーは、クロック速度のさらなる向上がコスト高であり、もはや全体性能のボトルネックではなくなったため意味がないと判断し、この次元での競争を止めることにしました。これにより、クロック速度に対する上方圧力が突然取り除かれました。飛行機の場合は物語がより複雑ですが、結局のところ市場が速度よりも燃費効率を優先したという点に帰着します。

時間経過に伴う飛行機の対気速度記録。1976 年の SR-71 ブラックバードの記録は現在も破られていません。[Source]

LLM においては、スケーリングの余地が数桁残っている可能性もあれば、すでに限界に達している可能性もあります。CPU や航空機の場合と同様に、これは最終的にはビジネス上の判断であり、事前に予測するのは根本的に困難です。

研究分野では、より大規模なデータセットを収集することから、トレーニングデータの質を向上させることに焦点が移っています。慎重なデータクリーニングとフィルタリングを行うことで、はるかに小規模なデータセットでも同等に強力なモデルを構築することが可能になります。

合成データには魔法はない

合成データは、継続的なスケーリングへの道筋としてよく提案されます。つまり、現在のモデルを使用して次世代のモデルのためのトレーニングデータを生成できるのではないかという考え方です。

しかし、私たちはこれが誤解に基づいていると考えています。開発者が（または使用できる）合成データを使ってトレーニングデータの量を増やしているわけではないのです。この論文には、トレーニングにおける合成データの有用な用途リストが掲載されており、それらはすべて特定のギャップを埋めたり、数学、コード、低リソース言語などドメイン固有の改善を行ったりすることに焦点を当てています。同様に、合成データ生成に特化したNvidia の最近のNemotron 340B モデルも、主要なユースケースとしてアライメント（整合性）を対象としています。いくつかの二次的なユースケースは存在しますが、現在の事前トレーニングデータのソースを置き換えることはその一つではありません。要するに、無意味に生成された合成トレーニングデータが、より多くの高品質な人間によるデータを持つことと同じ効果をもたらす可能性は低いのです。

合成トレーニングデータが劇的に成功した事例としては、2016年に囲碁世界チャンピオンを破った AlphaGo や、その後継である AlphaGo Zero、AlphaZero が挙げられます。これらのシステムは自分自身と対戦することで学習しました。後者の 2 つは、トレーニングデータとして人間の対局を一切使用していません。彼らは膨大な計算資源を用いてある程度高品質なゲームを生成し、そのゲームデータをニューラルネットワークのトレーニングに用いました。これにより、さらに高品質なゲームを計算と組み合わせることで生成できるモデルが生まれ、結果として反復的な改善ループが形成されました。

自己対戦は、「システム 2 --> システム 1 の蒸留（System 2 --> System 1 distillation）」の究極的な例です。ここでは、遅く高コストな「システム 2」プロセスがトレーニングデータを生成し、それを速く安価な「システム 1」モデルのトレーニングに用います。これは囲碁のような完全に自己完結した環境においてはうまく機能します。しかし、ゲーム以外の領域へ自己対戦を適応させることは、貴重な研究方向性です。コード生成（code generation）など、この戦略が価値を持つ重要なドメインも存在します。ただし、言語翻訳のようなよりオープンエンドなタスクに対して、無制限の自己改善を期待することはできません。自己対戦を通じて著しい改善が可能となるドメインは、例外であり原則ではないと考えるべきです。

AI Snake Oil は当社の書籍に関するブログです。新着投稿を受け取るには購読してください。

モデルは小型化されているが、トレーニング期間はより長くなっている

歴史的に、スケーリングの三つの軸——データセットサイズ、モデルサイズ、トレーニング計算量——は並行して進展し、これが最適であると考えられてきました。しかし、もしそのうちの一つの軸（高品質なデータ）がボトルネックになった場合、どうなるのでしょうか？残りの二つの軸、すなわちモデルサイズとトレーニング計算量は、引き続きスケーリングされ続けるのでしょうか？

現在の市場動向に基づけば、新たな創発的機能（emergent capabilities）を解き放つ可能性があったとしても、より大きなモデルを構築することは賢明なビジネス判断ではないように思われます。その理由は、能力がもはや採用の障壁ではなくなったからです。言い換えれば、現在の大規模言語モデル（LLM: Large Language Model）の能力を用いて構築可能なアプリケーションは数多く存在するものの、コストをはじめとする様々な理由により、実際に構築されたり採用されたりしていないケースが多いのです。これは特に、コード生成などのタスクを完了するために LLM を数十回から数百回呼び出す必要がある「エージェント型（agentic）」ワークフローにおいて顕著です。

過去1年間、開発努力の多くは、特定の能力レベルにおいてより小さなモデルを生産することに注がれてきました。5 フロンティアモデルの開発者はもはやモデルサイズを公開していないため、これを確実には言えませんが、API価格をサイズの粗い代理指標として用いることで、推測することは可能です。GPT-4oの料金はGPT-4の25%に過ぎず、能力は同等かそれ以上です。AnthropicとGoogleにおいても同様の傾向が見られます。Claude 3 OpusはClaudeファミリーの中で最も高価（おそらく最大）なモデルですが、より最近登場したClaude 3.5 Sonnetは、その5倍も安価でありながら、さらに高い能力を備えています。同様に、Gemini 1.5 ProはGemini 1.0 Ultraよりも安価で、かつ能力も優れています。つまり、3社すべての開発者において、最大のモデルが最も能力が高いわけではありません！

一方、トレーニング計算量は当面は引き続きスケールし続けるでしょう。逆説的に言えば、より小さなモデルほど同じ性能レベルに達するために多くのトレーニングを必要とします。つまり、モデルサイズの縮小圧力がトレーニング計算量への増加圧力につながっているのです。実質的に、開発者はトレーニングコストと推論コストの間でトレードオフを行っています。GPT-3.5 や GPT-4 といった初期のモデル群は、モデルの寿命全体を通じて推論コストがトレーニングコストを上回ると考えられているという意味で「過少トレーニング」の状態でした。理想的には、トレーニングコストを推論コストに交換することも、その逆も常に可能であるため、両者は概ね同等になるべきです。この傾向を示す顕著な例として、Llama 3 は、元の Llama モデル（約 70 億パラメータ）と同じサイズ（80 億パラメータ）のモデルにおいて、トレーニング FLOPs を 20 倍使用しました。

一般性の梯子

スケーリングを通じてさらに大きな能力向上が見られない可能性を示す一つの兆候は、CEO たちが AGI への期待を大幅に抑制していることです。残念ながら、彼らは「3 年後に AGI」という素朴な予測が誤りだったことを認めず、顔を立てるために AGI の定義を曖昧にしすぎてしまい、今やその言葉は無意味なものになってしまいました。元々 AGI が明確に定義されていなかったことが、この状況を助けた側面もあります。

一般性を二値として捉えるのではなく、スペクトラムとして捉えることができます。歴史的に、コンピュータに新しいタスクをプログラムさせるために必要な労力の量は減少してきました。これを一般性の増加と見なすこともできます。この傾向は、専用コンピューターからチューリングマシンへの移行とともに始まりました。この意味において、LLM の汎用的性質は新しいものではありません。

これは『AI Snake Oil』という書籍で私たちが採用している視点であり、同書には AGI に専念した章があります。私たちは AI の歴史を断続的平衡として概念化しており、これを「一般性の梯子」と呼びます（これは直線的な進歩を意味するものではない）。指令微調整された LLM は、この梯子における最新のステップです。AI が人間と同等の効率で経済的に価値のあるあらゆる仕事を実行できるというレベルの一般性（これが AGI の一つの定義である）に到達するまでには、未知の数のステップが先にあります。

歴史的に、梯子の各ステップに立っている間、AI 研究コミュニティは、現在のパラダイムでさらにどこまで進めるか、次のステップは何なのか、いつ到来するか、どのような新しいアプリケーションを可能にするのか、そして安全性への影響はどうなるのかについて、非常に予測が苦手でした。これは続く傾向だと私たちは考えています。

さらに読むべき文献

レオポルド・アシェンブレンナーによる最近のエッセイは、「2027 年までに AGI が実現することは驚くほど可能性が高い」という主張により波紋を広げました。ここでは一対一の反論を試みるつもりはありません——この投稿の大部分は、アシェンブレンナーのエッセイが発表される前に起草されたものです。彼のタイムラインに関する議論は面白く、考えさせられるものですが、根本的にはトレンド線の外挿に過ぎません。また、多くの AI 推進派と同様に、ベンチマークでのパフォーマンスと実世界での有用性を混同しています。

メーリン・ミッチェル、ヤン・ルコン、ゲイリー・マルクス、フランソワ・ショレ、スバラオ・カンバンプラティなど、多くの AI 研究者が懐疑的な立場を表明しています。

ドワークシュ・パテルは、議論の両側面について優れた概説を提供しています。

謝辞。ドラフトに対するフィードバックをいただいたマット・サルガニク、オリー・スティーヴンソン、ベネディクト・ストロブに感謝いたします。

1 滑らかに変化する指標を見つけることができれば、創発的性質は予測可能になりますが、そのような指標を見つけるのは容易ではありません。特に、複数のスキルを組み合わせたタスクにおいてはなおさらです。実際、次の桁の規模でどのような新しい能力が、あるいはどの程度の能力が創発するかという問いに対する答えは、誰にもわかりません。

2 AI 企業は学習のために YouTube データの文字起こしを利用していますが、その価値がある理由は、音声会話の形態を LLM が学ぶのを助けるからであり、単に量が多いからではありません。

3リバタリアンの評論家は予測可能に、飛行機速度の停滞を規制のみによるものだと帰因していますが、これは誤りか、せいぜい過度な単純化です。FAA が 1973 年に米国国内での民間航空機の超音速飛行を実質的に禁止したという事実は確かにあります。しかし、最速の航空機はすべて軍用機であり、その禁止令はそれらには影響しません。また、民間航空機は燃料効率やその他の考慮事項から、マッハ 1 を大幅に下回る速度で巡航します。

4大規模言語モデル（LLM）のトレーニングをサンプル効率において桁違いに向上させられるかどうかについては議論があります。確かに、子供たちは LLM が学習する単語数よりもはるかに少ない単語に触れるだけで言語を獲得します。一方、子供たちは「ベビーベッドの中の科学者」であり、世界モデルや推論能力を早期に発達させており、それが効率的な言語獲得を可能にしている可能性があります。この議論は私たちが主張する点とは直交しています。もしタスク表現や外挿の難しさがボトルネックであるなら、サンプル効率に関わらず、それは LLM の能力に対する上限として現れることになります。

5モデル開発者がパラメータ数という観点からより大きなモデルをリリースしたときでさえ、推論効率への注目が強まっています。例えば、Mixtral 8x22B などのエキスパート混合（mixture-of-experts）モデルでは、推論時にアクティブになるパラメータの数が総パラメータ数よりもはるかに少なくなっています。