データのためのスターゲート（6 分読了）

A Stargate for Data

ラボは2030年までに年間1,000億ドルを超えるデータ支出の軌道に乗っています。私たちはトリリオン・ドル規模の計算プロジェクトを開始しようとしていますが、もう一つの核心的な要素である「データ」についても、同様に文明規模での取り組みについて考える必要があります。

スケーリング革命の基礎にあるのは、単純な経験則です。モデルのサイズとトレーニングに使用するデータの量を比例して拡大すれば、深層ニューラルネットワークは滑らかに、ほぼ魔法のように改善します。スケーリング法則が残酷なまでに逓減しているにもかかわらず、私たちは対数的なスケーリングという弾丸を噛み砕き、指数関数的に巨大なクラスターとデータセットを活用することで見事に対応し、その見返りとして驚くべき新たな能力を獲得しました。

しかし、この指数関数的なスケーリングはいずれ何らかの限界に直面することになります。奇妙なことに、計算資源は制限なくほぼ滑らかに複利成長を遂げ、トリリオン規模の資金がハイパークラスターの構築へと流れ込んでいます。一方、データの指数関数的な需要にはすでに限界が見え始めています。インターネット上のデータが事実上無限にあるにもかかわらずGPUが不足していた「計算資源制約型」の時代は終わり、私たちは今や「データ制約型」の時代へと移行しつつあります。

幸いにも、この制限は AI の能力における驚異的な向上と重なっています。信じられないことに、現在の手法を用いれば、知識労働の大部分を自動化する道筋が実際に見えてきているようです。強化学習（RL）と事前学習（pretraining）、およびそれぞれのデータは、最小限のアルゴリズム上の進展と計算資源のスケーリングが続く限り、経済的に価値のあるタスクのほとんどを達成するのに一般的に十分であると考えられます。

データが制限される世界では、経済的進歩と科学の加速は、各ドメインにおけるカバレッジによって直接的にボトルネックになります。私たちはデータ収集を必須のものとして捉え、計算資源に対して私たちが与えたのと同じような文明レベルの野望をそこに持つべきです。

インターネットという一度きりの補助金

AI のすべての進歩が、インターネットという恩恵、つまり深層学習に対するこの一度きりの文明的な補助金、すなわち完璧なデータセットの数十年にわたる意図せぬ蓄積（あらゆる書籍、ブログ記事、画像、動画、論文、議論などすべてがデジタル化され自由に利用可能であること） owes しているという事実が、過小評価されています。インターネットがなければ、今日の AI における進歩は比較して極めて限定的なものにとどまっていたでしょう。実際、現在システムが苦手としている領域に注目すると、それはほとんど常にウェブカバレッジが限られており、データが非公開で高価、非デジタル化、あるいは存在しないドメインであることがわかります。

しかし、私たちはそれをもう使い果たしつつあります。有用な公開された人間のテキストは約 300 トリリオントークンしか存在せず、インターネットではスケーリングが要求する量に匹敵する十分な新しい高品質データを生成していません—私たちはまもなく事前学習のための公開データの限界に達しようとしています。そして、強化学習（RL）の登場が一時的な猶予をもたらしましたが—思考連鎖型強化学習（chain-of-thought RL）には新たな未開拓データが必要であり、オンラインでも入手可能な評価可能な数学・コーディングタスクがそれでした—しかし、強化学習のための困難なタスクも急速に枯渇しつつあります。

そもそもなぜこれほど多くのデータが必要なのでしょうか？人間ははるかに短い時間で比較対照的な学習を行い、新しいトピックを学ぶために言語モデルが数百回分の同等のデータを必要とするのに対し、人間には教科書 1 冊で十分です。私たちははるかにデータ効率的な手法—合成データ、データ効率の高いアーキテクチャ、その他の異種アルゴリズム—を発見する可能性があります—but、根本的な進歩は遅く、極めて予測不可能であり、私たちが現在持っているレシピは今日でも機能しています。

そして、ここでは深入りしすぎないよう警戒しつつも、任意のデータ効率化では、そもそも存在しないデータを代替することはできません。ウェブ上には膨大な量の情報が欠落しており、それはインターネットの暗黒物質——暗黙知、文書化されていないプロセスなど——であり、その多くは未だに公開されておらず、組織内や物理世界、あるいは人々の頭脳の中にのみ存在しています。ここではこれ以上詳しく述べませんが、この投稿に収まりきらないほど長い理由 [1] により、我々のデータに対する尽きることのない欲求が過去十年間と同様に続くという前提で行動するのが最善であると結論付けます。

2030 年までにデータ関連の支出は年間 1000 億ドルを超えるでしょう

もちろん、まだ絶望的な状況ではありません。世界中の有用なデータのほんの一部のみが公開インターネット上にあり、残りはプライベートデータセット、企業、個人のアーカイブ、大学、政府などに保存されています。研究機関はこれらのプライベートデータセットをライセンス契約で利用し続けることも、Anthropic の書籍スキャンプロジェクトのようにゼロから作成することも可能です。また、人間のエキスパートに新たな高品質データを製造させる任務も増え、ハード RL（強化学習）のトレーニングタスクの多くがすでにこの方法で賄われています。

しかし、このデータを収集することは、以前とは異なり高価になります。無料のインターネットが枯渇し、データへの需要が高まるにつれて、ラボは計算資源と同様にデータにも同等に投資するようになるはずです。おそらく、計算予算の大きな割合をデータに費やすことになるでしょう。計算資源に兆ドル規模の支出が行われている中で、その同等の重要性を考慮すれば、データ（人間のデータおよび収集予算）にも数百億ドル規模の支出が行われることを期待するのは妥当です。なお、データへの支出はすでにこの方向へ進んでいます：ベンダー全体での総データ支出（ラボ内部の取り組みを除く）は既に年間約 70 億ドルに達しています。2030 年までに 10 倍以上になることは十分に合理的な予測です。

データが堀となる

データがますます非公開化していくことは、競争環境を大きくシフトさせることになります。計算資源はコモディティ（商品）であり、誰もが同じチップを購入し、同じクラスターを構築しますが、データはそうではありません。これまでフロンティアモデルが互いに不気味なほど似通って見えた主な理由は、それらが実質的に同じインターネット（事前学習データのラボ間でのばらつきは非常に低い）でトレーニングされていたからです。ラボがより排他的で手作業による収集されたコーパスへと分岐していくにつれて、モデルもますます多様化し始めると考えられます。

OpenAI が数学分野で先行し、Anthropic がサイバーセキュリティ分野で優位にあるのは偶然ではありません。私は、高品質なミッドトレーニングトークンのレーザー焦点を当てた収集、カスタム RL タスク、環境、そして専任の研究努力が、過去 1 年間の目に見える進歩の多くを牽引したと強く信じています。ジェームズ・ベトカーは、「モデルにおける『それ』とはデータセットである」という素晴らしいブログ記事を書いています。モデルアーキテクチャと計算リソースは効率性と桁違いのパフォーマンスをもたらしますが、究極的には、あらゆるアーキテクチャのモデルがそのデータセットに対する驚くべき近似器であるため、モデルの核心部分は単にそれだけ、つまり他には何も残らないのです。データは主要な参入障壁です。

AGI は遠く、ASI は近い

以前ツイートした通り、私は物語とは裏腹に、データラベリング業界が引き続き優れたビジネスを牽引し、AGI には長く、ASI には短期的に有利であると確信しています。その論点は単にこうです。AGI ラボがもはやデータを必要としなくなった頃には、おそらく他のすべての分野でも終わりが来ているでしょう [2]。この枠組みでは、最後に残る企業はデータ企業であるべきです。経済的に意味のあるデータの最後の一片さえも吸い込まれるからです。そしてこれらの企業はすでに歴史上最も急速に成長している企業の一部となっています：3 年前に設立された Mercor は、契約下にある数百万人の専門家ラベラーを擁し、収益が約 20 億ドルに達していると噂されています。

これらのビジネスは非常に非定常的ですが、必要なデータの種類が絶えず変化しても、その価値が低下するとは思いません。経済のロングテールは長く、より不明瞭な情報へと深く進んでも価値は減衰しません。モデルの能力が高まるにつれて、限界データの価値は下がるのではなく上がります。フルジョブを自動化するには、そのタスク・ツール・エッジケース・長期ループの全分布をカバーする必要があります。そこには O リング論理が働きます：1% の改善をもたらすデータセットは、システムが仕事の 99% を行うものとすべてを行うものの差となる場合、以前は正当化できなかった収集コストを正当化するのです [3]。

データ業界の競争動態はまだ進化中ですが、データの需要がますますニッチで、超高品質かつ専門家によって生成されるものへとシフトしているため、実質的な統合が進むと考えられます。再び反ナラティブとして、ブランド、データの品質管理（個人的な経験から、これが劇的に異なる場合があります）、そして時間とともに人材ネットワーク自体が生み出すネット効果に基づいた真の競争優位性が構築されるでしょう。すでにデータタイプの需要が急速に変化する状況は既存企業に有利に働き、市場の行方を早期に知見を持つ企業を恩恵しています。

制約となる要因

「事前学習＋強化学習」というレシピさえあれば、私たちが当初「AGI」から期待していた多くの要素とは程遠いにもかかわらず、経済的に価値のある仕事のほとんどを吸収できる可能性が実際にあるのは驚くべきことです。チェスエンジンが、私たちが当初考えていたように、チェスを解くために一般知能が必要ではないことを明らかにしたのと同じように、ソフトウェア、数学、そして経済の大部分（物理的な分野も含め、実は約 3 年遅れで追いついています！）も同じであることに私たちはすぐに気づくでしょう。再帰的自己改善やその他のアルゴリズム的ブレークスルーが訪れるのであれば素晴らしいことですが、実際にそれを待つ必要はありません。ここから自動化された経済に至るまでの間の決定的な制約はそれらではなく、データのカバレッジです：すべてのアプリ、ワークフロー、エッジケース、プロセスなどが、プライベートなストレージや誰かの頭の中に置かれている状態です。

最終的に、より効率的なモデルアーキテクチャにおいて劇的な進歩を遂げ、Stargate などのクラスターがゼタフロップスケールの計算能力を提供する一方で、私たちが欠いているデータを収集する速度は急速には向上していません。

私たちはまもなく、科学の進展や経済成長を加速させるための方法と計算資源を持つ世界に生きるようになりますが、データは不足したままです。そして、すでに今日その状況にあります：もしコードに対して行ったのと同じ事前学習と強化学習のカバレッジがあれば、最先端モデルは会計・多くの医療タスク・法的助言においてもソフトウェアエンジニアリングと同様に優れているはずです。

これを強く強調しておきます：経済を自動化する速度は、その経済に関するデータを収集する私たちの能力に直接依存し、レート制限されることになります。

この仮定の下では、データが防衛可能であり経済・科学の進展に直接比例するとすれば、データも計算資源と同様に国家的戦略資産とみなされるべきです。AI に対するマンハッタン計画並みの取り組みを行い、制限要因となるデータの収集を動員する必要がある世界で私たちが何をすべきかを想像してみてください。国家規模でのデータ収集能力を持ち、より大きな国家能力と権威主義的な経済統制を持つ中国が、将来的に我々よりも速く経済や科学の成果を増幅させる可能性について懸念を抱くべきです。

データのスターゲート

私の将来への完全なアイデアは別の投稿に残しますが、今回はすでに非常に長くなっているため、ここで質問を提示したいと考えています。計算資源を基本的な要素として組織し、数兆ドル規模の資金、国際戦略、ギガワット級の電力を集約したことで「スターゲート」が実現しました。では、データに対して同等の野望とはどのようなものになるでしょうか。

明らかに、経済全体にわたる多様な情報塊としてのデータ収集のスケーリングは、均質なインフラストラクチャ努力としての計算資源のスケーリングほど明確ではありません。核心的な課題は、まず第一にカバレッジ（経済・科学・物理世界全体に存在する未記録の知識や単に記録されていないすべてのもの）であり、第二に、すでにトレーニングを行っているドメインにおける純粋な量（より多くの数学的タスク、より高品質なウェブテキスト、はるかに多くのコードデータ、より多くの法的草案など）です。

私にはまもなく、私の提案を詳細に解説する投稿を公開します。創造的な余地は非常に多くあります。まず、現在何を持っているか、何が不足しているかの徹底的な調査から始め、2030 年のモデルでもまだ苦手とする分野を予測し、今日何を収集すべきかを遡って考える必要があるでしょう。高評価のラボを活用して、大規模なデータセットや企業そのものを買い取ることも可能かもしれません。多くの場合、企業との収集には対立する性質があるため、これを正しく行うためのエンジニアリングが大量に必要となります。重要企業に対して、まだ購入していないとしても削除ポリシーを停止させるよう説得すべきです。消費者向けプロダクトにおけるデータフライホイールは巨大なものになるでしょう。機密性の高いトレーニング、助成金付き研究のための政府立法、データを理由として赤字経営を行う企業の運営などです。

私たちは数百億ドル規模の支出と国家的優先事項、そして迫りくる主要なデータ制限へと向かっています。データにおけるメガプロジェクトがどのようなものかを創造的に考える絶好の機会があります：どうすれば、今回は意図的に、次世代インターネットに匹敵する量のデータを構築できるでしょうか？

脚注:

[1]: 間もなく、データ効率に関する私の立場と、新しいアルゴリズムに関わらず、ほとんどのシナリオにおいてこのデータの価値が依然として非常に高い理由を説明する、より長編の投稿を公開する予定です。

[2]: 「AGI フリーロール」への賭け：表が出れば勝利、裏が出ても ASI が世界をひっくり返す結果になる。

[3]: この点の検証の兆しはすでに確認されており、データ市場が熟練したラベリングではなく、超高品質なエージェント型データへと強く傾斜していることが示されています。具体的には、ニッチな専門ワークフロー、ライブ環境、そしてますます希少な人材と知識を要する評価といった領域においてです。しかしながら、これらの分野では収益は減少するどころか増加傾向にあります。