データは不足していない。不足しているのは想像力だ（8 分読了）
この記事は、AI 業界が直面しているとされる「学習データの枯渇」の危機は実際には人間の想像力の限界によるものであり、未開拓のデータ領域が存在すると指摘し、SRE の事例を通じてその実態を論じている。
キーポイント
データ枯渇説への反証と再定義
「学習データが尽きつつある」という定説に対し、著者はそれは単に現在の想像力の限界を示すだけであり、収集し始めていない膨大な未開拓領域が存在すると主張する。
SRE 事例による環境シミュレーションの難しさ
大規模モデルが SRE（サイト信頼性エンジニア）を代替できるかという試みにおいて、モデル自体よりも複雑な実環境のシミュレーションが困難であることが判明した。
双方向世界モデルによるアプローチ
Kubernetes の専門家と環境そのものを演じる 2 つの世界モデルを訓練する試みなど、従来の枠組みを超えた新しいデータ収集・活用形態への模索が示唆されている。
重要な引用
We're running out of training data. No. We haven't started collecting it.
The real space runs so much larger that some of the data sitting in it, we can't even picture what shape it will take.
影響分析・編集コメントを表示
影響分析
この記事は、AI 業界が「データ枯渇」という壁に直面しているという悲観的な議論に対し、視点の転換を促す重要な提言である。特に、実世界環境のシミュレーションや双方向モデルといった具体的なアプローチを示唆することで、単なるデータの量論から「どのようなデータをどう捉えるか」という質的・構造的な革新へと議論を誘導する効果がある。
編集コメント
データ枯渇論への懐疑的な視点を提供し、業界の次のフロンティアが「データの量」ではなく「想像力の拡張」にあると説く、示唆に富む分析記事です。
Article
Conversation
データは不足していない。不足しているのはあなたの想像力だ。
私たちはトレーニングデータの枯渇に直面している。
いいえ、まだ収集を始めたばかりです。
データを語る時、私たちは推論、コード、音声、画像、ロボティクスを思い浮かべます。確かにそれらは実在し、すでに莫大な富を生み出しています。しかし、そのリストがデータの真の姿ではありません。それは単に現在の想像力の限界を示しているだけです。真の世界ははるかに広く、そこに眠るデータの一部は、それがどのような形を取るのかさえも私たちが思い描くことができません。
私はこのことを痛いほど学び、その後、目にするあらゆる場所でこれが確認されるのを watching しました。
私の人生の長い期間を SRE（サイト信頼性エンジニアリング）に費やしたため、私は常に一つの問いを巡らせていました：大規模モデルは人間の SRE エンジニアを代替できるのか？そうすれば、深夜のオンコールで目を覚まされることがなくなるのではないか？実際に試しました。それに関する論文も書きました。そして深く掘り下げてみると、難しい部分はモデルそのものではなく、環境の方でした。実際の SRE インシデントをシミュレーションすることはほとんど不可能です。そこで当時エレガントに思えたアイデアに行き着きました：2 つの世界モデル（World Model）を訓練するのです。一方は K8s の専門家として振る舞いコマンドを生成し、もう一方は K8s 環境そのものとして振る舞い、特定のシナリオ下で妥当な応答を生成します。それらに競わせましょう。モデルが自ら創り出した世界の中で操作することを学ばせるのです。
しかし、それは機能しませんでした。
私たちが足を止めた理由は、ほとんど残酷なほど具体的でした。十分なデータが得られず、収集できたものも低品質でした。私たちは、最初の異常から完全解決に至るまで、実際の K8s クラスター全体を捉え、その間の各ステップでどのように反応するかを正確に示すようなデータを必要としていました。結局のところ、私たちは多エージェント・ハネス（multi-agent harness）という洗練されたフレームワークに頼り、非常に少ないデータでモデル上で強化学習（RL: Reinforcement Learning）を実行しましたが、結果は平凡なものでした。しかし、私は誓います、私たちはほぼ到達寸前だったのです。方向性は正しかったのです。ただ、その一種類のデータを逃し、提出期限までに時間が足りなかったのです。
今振り返ると、私はまさに全く新しい世界の扉に直撃していたことに気づきます。私はシステムの実際の挙動をモデルに適合させようとしていましたが、不足していたのはエンドツーエンドで長期にわたるデータでした。単一の瞬間ではなく、原因と結果の完全な連鎖です。
この1ヶ月間の研究は、これがいたるところで同時に起こっていることを私に確信させました。
インタラクションモデルに関する Thinking Machines Lab の研究は、私にとって最も衝撃的なものでした。今年、誰もが能動的なエージェントについて語っています。私もウェアラブル端末を外部に取り付けて、その能動性を無理やり作り出そうとしました。しかし Thinking Machines は、より深い何かを示してくれました。適切なデータを与えれば、その能力はモデル内部から自然に成長するのです。インタラクティブ性は、外部に装着する足場ではなくなります。モデルがそれを吸収します。そして沈黙、中断、視覚的世界が変化する正確な瞬間など、これまでどのデータセットも記録しようとしなかったものがすべて、訓練すべきデータとなり、実際に訓練可能なものへと変わります。
より過激な方向性として、『Neural Computers』という論文があります（Meta AI と KAUST のチームによるもので、著者陣にユルゲン・シュミットフーバーが名を連ねています。1990 年に彼が「世界モデル」という用語を機械学習に初めて持ち込んだことを考えれば、これはまさにふさわしいことです）。彼らは計算、メモリ、I/O を単一の学習されたランタイム状態に統合し、それを画面フレームを直接生成するビデオモデルとしてインスタンス化します。CLI や GUI の環境では、指示、ピクセル、ユーザーのアクションから次のフレームを生成します。
ここで来るべき転換点にお気づきでしょうか。コンピュータ自体の振る舞いが、私たちがモデル化できるデータのストリームそのものとなるのです。ターミナルのすべてのフレーム、マウスやキー入力のすべての応答は、かつてプログラムの冷たく決定論的な出力でした。しかし今やそれは、誰かがそれを学習するのを待っている I/O の整合性となっています。
モデルの範囲内に人間と機械のインターフェースを何らかの形で組み込めば、その応答もタイミングもすべてが全く新しいクラスの変換データへと即座に変わります。可能なインターフェースの数には上限がありません：フルデュプレックス音声、視覚的な能動性、経過時間の感覚、そして最終的には物理世界や身体、バイオシグナルへの回帰です。新たなインターフェースは、何もないところから一つの大陸のようなデータを生み出し、かつて存在しなかった、その形状が完全に未確定な大陸を創り出します。
これがデータの市場における真の姿です。ゆっくりと大きくなる固定されたパイではありません。新しい大陸を次々と生み出し続ける、成長し続ける地図なのです。
シグナルは複数の方向から届いています。ジャック・ドーシー氏の会社である Block は、「階層から知能へ」と題するエッセイを執筆し、自社の再構築を「企業向け世界モデル」と「顧客向け世界モデル」を中心に据えることを提案しました。これは私が今年読んだ中で最も刺激的なエッセイの一つです。この一文が私に強く響きました。「お金は世界で最も誠実なシグナルである」。人々はアンケートでは嘘をつき、広告を無視し、ショッピングカートを放棄します。しかし、支出や貯蓄、送金、借入、返済を行う瞬間こそが真実です。すべての取引は、ある実在する人物の人生に関する事実を宣言しています。このように取引を見れば、自然と一つの結論が浮かび上がります。それは、エンタープライズ AI 戦略を保持している誰にとっても不安を覚えるべき結論です。ERP（企業資源計画システム）、CRM（顧客関係管理システム）、チケット管理システムなど、過去二十年間「ビジネス記録」として片付けられてきたものは、決して死んだデータベースではありませんでした。それらは、企業とその顧客という二つの世界モデル間の整合性を取るためのコーパスであり、常に人目のつく場所に積み上がっていたのです。誰かがそれを引き受けるのを待っているだけでした。古いインターフェースはもともとインターフェースでした。私たちは単にそう呼ばなかっただけです。今や私たちは金鉱の上に座っている可能性がありながら、それを「プロセス」や「記録」と呼び続けているのかもしれません。
さらに先を見渡せば、3 ヶ月前の Karpathy 氏の自動研究プロジェクトが話題を呼んでいます。このプロジェクトでは AI エージェントが研究ループ自体を実行し、独自の実験を行い、自ら反復する仕組みです。これにより、研究プロセスそのものがデータとして扱われるようになり、最近シリコンバレー全体でホットなトピックとなっています。
水平方向には無限の形があり、垂直方向には無限の深さがあります。そして今や、データを生成するプロセス自体もデータへと変容しています。
無限のインターフェースが存在するからといって、すべてのインターフェースが等しいわけではありません。すべてがインターフェースとなる瞬間に、問いは静かに形を変えます。「まだデータがある場所はどこか」という問いから、「まずどのインターフェースを開くか」という問いへと移行します。そしてこの問いには構造があります。一部のインターフェースは嘘をつきます。アンケートは嘘をつきますが、お金は嘘をつきません。また、あるインターフェースは実際に起きた経路しか示さず、起きなかった経路は一切示しません。これが私が K8s で直面した壁そのものでした。一つのインシデントが一つの軌道を与えるだけで、トレーニングに実際必要だった反事実（counterfactual）は決して与えられないのです。一部のインターフェースは一つ下の層で底を突き、他のものは各層で新たな世界を開きます。そして稀な数少ないものの中には、モデル化すると、開かれる前に誰も名付けられなかった新しいインターフェースが芽生えるものがあります。
想像力が地図を開きました。しかし、地図はコンパスではありません。市場がすでに地図化されていると確信しているのに、実はそうではないとしたらどうでしょうか？
これがデイビッド・ドイッチュが意味したところです。これは無限の始まりです。彼にとって、知識には終着点はありません。良質な説明はすべて、以前には posed できなかった新たな問題や、想像もできなかった新たな可能性を生み出します。データも同じように働きます。私たちが名付けられる数少ないカテゴリは、すでに明かりを灯した部屋がいくつかあるに過ぎません。暗闇の奥には無数の部屋が待っており、その中には扉があることさえ知らないものもあります。
新しい金鉱はデータである。すでに多くの人がそう言っている。しかし、誰もが思い描く採掘場は、ただ足元の小さな一隅に過ぎない。真の鉱脈とは、まだ名付けられず、その形を描き出すこともできないデータであり、新たな問題を解決するたびに、新たな対話モードを開くたびに、大陸ごとに姿を現すデータのことだ。
私たちはデータ時代の途中にいるのではない。
我々はまさにその最初の章、最初のページに立っているのだ。
参考文献
Yang, P., et al. (13 authors). "AOI: Turning Failed Trajectories into Training Signals for Autonomous Cloud Diagnosis." arXiv:2603.03378, March 2026.
Thinking Machines Lab. "Interaction Models: A Scalable Approach to Human-AI Collaboration," Thinking Machines Lab: Connectionism, May 2026.
Zhuge, M., Zhao, C., Liu, H., et al. (19 authors, including Jürgen Schmidhuber). "Neural Computers." arXiv:2604.06425, April 2026. Meta AI and KAUST.
Dorsey, J., and Botha, R. "From Hierarchy to Intelligence." Published March 31, 2026, jointly on Block and Sequoia Capital.
Karpathy, A. "autoresearch." GitHub repository, released March 7, 2026.
Deutsch, D. The Beginning of Infinity: Explanations That Transform the World. Viking, 2011.
原文を表示
Article
Conversation
Data Isn't Scarce. Your Imagination Is.
We're running out of training data.
No. We haven't started collecting it.
When we talk about data, we picture reasoning, code, audio, image, robotics. Sure, those are real, and they already minted fortunes. But that list isn't the real shape of data. It just marks the current edge of our imagination. The real space runs so much larger that some of the data sitting in it, we can't even picture what shape it will take.
I learned this the hard way, and then I watched it confirm itself everywhere I looked.
I spent a long stretch of my life doing SRE, so I kept circling one question: could a large model replace a human SRE engineer, so we'd stop getting woken up by oncall at midnight? We actually tried. We wrote a paper on it. And once we got deep in, we found the hard part wasn't the model. It was the environment. You almost can't simulate a real SRE incident. So we reached for an idea that felt elegant at the time: train two world models. One plays the K8s expert and generates commands. The other plays the K8s environment itself and generates plausible responses under specific scenarios. Let them spar. Let the model learn to operate inside a world it conjured for itself.
It didn't work.
What stopped us was almost cruelly specific. We couldn't get enough data, and what we did collect came out low quality. We needed the kind of data that captures a real K8s cluster across an entire incident, from the first anomaly to the moment it's fully resolved, and exactly how it responds at every step in between. In the end we fell back to a multi-agent harness, a sophisticated framework running RL on a model with very little data, and the results came out mediocre. But I swear we were almost there. The direction was right. We just missed that one kind of data, and we ran out of time before the submission.
Looking back now, I realize I'd walked straight into the doorway of an entire new world. I was trying to fit the real behavior of a system into a model, and the thing that turned out scarce was end-to-end, long-horizon data. Not a single instant. A complete chain of cause and effect.
The research of these past one month convinced me that this is happening everywhere at once.
Thinking Machines Lab's work on interaction models shook me the most. Everyone this year talks about proactive agents. I tried to fake that proactivity myself, bolting it onto the outside with wearables. Thinking Machines showed me something deeper: give the model the right data, and that capability grows natively from inside it. Interactivity stops being scaffolding you strap to the outside. The model absorbs it. And so silence, interruption, the precise instant the visual world changes, things no dataset ever bothered to record, all turn into data you must train on and can train on.
A more radical direction comes from a paper called Neural Computers (a Meta AI and KAUST team; Jürgen Schmidhuber sits among the authors, which fits, since he first brought the term "world model" into machine learning back in 1990). They fold computation, memory, and I/O into a single learned runtime state, then instantiate it as a video model that rolls out screen frames directly. In CLI and GUI environments, it generates the next frame from instructions, pixels, and user actions.
You should see the turn coming by now. The behavior of a computer itself becomes a stream of data we can model. Every frame of a terminal, every response to a mouse or a keystroke, used to be the cold deterministic output of a program. Now it's an I/O alignment waiting for someone to learn it.
Bring any human-machine interface inside a model's scope, and you instantly turn all of its responses and all of its timing into a brand-new class of data. The number of possible interfaces has no ceiling: full-duplex voice, visual proactivity, a sense of elapsed time, and eventually the return to the physical world, the body, biosignals. Every new interface conjures a continent of data out of nothing, a continent that didn't exist before, whose shape stays entirely open.
That's the true shape of the data market. Not a fixed pie slowly growing larger. A map that keeps growing, that keeps sprouting new continents.
The signal comes from more than one direction. Block, Jack Dorsey's company, wrote an essay called From Hierarchy to Intelligence, proposing to rebuild the company itself around a company world model and a customer world model. It's the most insipring essay I've read this year. This line hit me: money is the most honest signal in the world. People lie on surveys, ignore ads, abandon carts. But when they spend, save, send, borrow, or repay, that's the truth. Every transaction states a fact about a real person's life. And once you see transactions that way, a conclusion surfaces on its own, one that should unsettle anyone holding an enterprise AI strategy. ERP, CRM, ticketing systems, two decades of what we filed away as "business records," never were dead databases. They were the alignment corpus between two world models, a company's and its customers', piling up in plain sight the whole time, waiting for someone to claim it. The old interfaces always were interfaces. We just never called them that. We might be sitting on a goldmine right now and call it "process" and "records."
Look further out and Karpathy's autoresearch project three months ago, letting an AI agent run the research loop itself, run its own experiments, iterate on its own, turned the data of the research process itself into a hot topic across Silicon Valley recently.
Horizontally, infinite forms. Vertically, infinite depth. And now even the process that produces data turns into data.
But infinite interfaces don't mean equal interfaces. The moment everything becomes an interface, the question quietly changes shape. It stops asking "where is there still data" and starts asking "which interface do we open first." And that question has structure. Some interfaces lie. Surveys lie; money doesn't. Some show you only the path that happened, never the one that didn't, which is the exact wall I hit with K8s: one incident gives you one trajectory, never the counterfactual you actually needed to train on. Some bottom out one layer down. Others open a new world at every layer. And a rare few, once you model them, sprout interfaces nobody could have named before they opened.
Imagination opened the map. But a map isn't a compass. What if you're sure the market's already mapped, and it isn't?
This is what David Deutsch meant. This is the beginning of infinity. To him, knowledge has no terminus. Every good explanation gives rise to new problems we couldn't have posed before, new possibilities we couldn't have imagined. Data works the same way. The handful of categories we can name are just the few rooms we've already lit. Out in the dark wait countless more, and some of the doors, we don't even know are there.
The new gold is data. Plenty of people say that already. But the mine almost everyone pictures is just this small patch under our feet. The real lode is the data we can't yet name, can't yet draw the shape of, the data that will surface continent by continent, every time we solve another problem, every time we open another mode of interaction.
We are not somewhere in the middle of the data age.
We are on its first chapter. Its first page.
References
Yang, P., et al. (13 authors). "AOI: Turning Failed Trajectories into Training Signals for Autonomous Cloud Diagnosis." arXiv:2603.03378, March 2026.
Thinking Machines Lab. "Interaction Models: A Scalable Approach to Human-AI Collaboration," Thinking Machines Lab: Connectionism, May 2026.
Zhuge, M., Zhao, C., Liu, H., et al. (19 authors, including Jürgen Schmidhuber). "Neural Computers." arXiv:2604.06425, April 2026. Meta AI and KAUST.
Dorsey, J., and Botha, R. "From Hierarchy to Intelligence." Published March 31, 2026, jointly on Block and Sequoia Capital.
Karpathy, A. "autoresearch." GitHub repository, released March 7, 2026.
Deutsch, D. The Beginning of Infinity: Explanations That Transform the World. Viking, 2011.
関連記事
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み