データへの深掘り | YC パーパークラブ

データは「コモディティ」から「製品」へ：AI 開発の重心がシフトする理由

過去、投資家たちはデータを安価な素材（コモディティ）と見なし、その終末価値をゼロだと断言していました。しかし現在、データビジネスの市場規模は千億ドルを超え、アーキテクチャや GPU よりも「データの質」こそが最大のボトルネックとなっています。

この動画では、AI 開発の重心がモデル設計からデータ戦略へと移行する「Data 2.0」時代を明確に定義し、専門家の知見をいかにデータ化・製品化するかが、医師や弁護士として機能する AI を実現する鍵であると説かれています。

データ市場の劇的転換：コモディティから千億ドル産業へ

2016 年頃まで、業界では「データはすでに十分にある」「スケーリングこそが重要だ」という考え方が支配的でした。実際、当時の多くの VC（ベンチャーキャピタル）はデータビジネスの終末価値をゼロと見なし、投資に消極的でした。

しかし状況は一変しました。過去 10 年間でデータ分野だけで千億ドル規模の時価総額が創出され、業界全体の認識が劇的に転換したのです。

「アーキテクチャや計算資源よりも、現在最大のボトルネックとなっているのはデータの質です」

なぜこれほどまでにデータが重要視されるようになったのでしょうか。それは、Transformer などのアーキテクチャが成熟し、モデルの性能向上において「どれだけ良いデータを扱えるか」が決定的な差を生むようになったからです。

開発現場で起きている「パラダイムシフト」

かつての AI 研究者やエンジニアは、モデルの精度が伸び悩んだ際、論文を読んでアーキテクチャを改良したり、層を追加したりする時間を費やしていました。しかし、現実にプロダクト化された現場では、そのアプローチは通用しません。

例えば、「ホットドッグかどうか」を識別するモデルで 85% のスコアが出た場合、次の一手として「論文を読む」のは間違いです。正解はデータを深く掘り下げることです。

• 誤判定（False Positives）と見落とし（False Negatives）を分類する
• 具体的な失敗パターンを特定する（例：冷蔵庫の曇り、人の影、商品が前面に出ている状態など）

層を増やしても、人が画面に立ってしまえばモデルは認識できません。アーキテクチャの問題ではなく、データの分布と質の問題なのです。

「PhD 時代にはデータに 5%、アーキテクチャに 95% の時間を割いていたが、プロダクト化後はそれが逆転し、現在はデータに 97%、アーキテクチャに 3% の時間を使うのが現実だ」

専門家の知見をどう「製品」にするか

医療や法律といった専門領域では、単なる正解・不正解のラベル付けだけでは不十分です。人間の判断を再現するためには、以下の要素が必要です。

1. 検証可能な報酬を持つ RL 環境：専門家による行動が評価される仕組み
2. 主観的評価データの構築：「このデザインは使いやすいか」「このコードスタイルは保守可能か」といった、専門家の勘や経験に基づく判断

「医療では二人の医師が同じ患者に対して異なる診断を下すこともあります。法律でも同様です。こうした『正解がない』領域こそ、専門家の知見をデータセットとして構築する難易度が高い」

また、データセットは単なるファイル群（ZIP ファイル）ではありません。ゲーム開発のような高度な職人技と複雑なロジックを要する「製品」として扱う必要があります。

例えば、在庫切れの判定において、「商品が前面に出ている状態」をどう分類するか。技術的には在庫切れですが、モデルにとっては混乱を招くケースです。このような微妙なニュアンスをどう定義し、データセットに落とし込むかには膨大な工数がかかります。

さらに、外部環境の変化にも対応する必要があります。Salesforce の UI が変更されれば、それまで収集した 100 億時間のトレーシングデータは無効になります。「データさえあれば十分」という考えは誤りであり、継続的な更新と管理が不可欠です。

検証エージェントと「垂直特化型 AI」の未来

コード生成などの分野では、「検証エージェント（Verification Agent）」の活用が有効です。仕様に基づいてテストスクリプトを実行し、コードの品質やプラクティスへの適合性を自動評価する仕組みです。

「S&P 500 の次期 7 日間の株価を予測する際、現在の AI モデルはコイン投げよりも劣ります。しかし、ゴールドマン・サックスのトレーダーの行動データがあれば、もっと良い結果が出せるはずです」

これは、専門家の知見が反映された高品質なデータセットがない限り、AI は真のプロフェッショナルとして機能できないことを示しています。

この状況を「アプリ」に例えるとわかりやすくなります。LLM を医師や弁護士にするには、特定の領域に特化した「アプリ（＝データと RL 環境）」が必要です。Apple が自前で「Instacart（生鮮食品配達）」を始めるのは非効率です。同様に、OpenAI や Google が自前で「AI 医師」のネットワークを構築するよりも、その分野に特化して高品質なデータを扱う専門企業を利用する方が合理的です。

「データセットは製品であり、継続的な更新と管理が必要です。これはゲーム開発のような職人技を要するものです」

まとめ

AI 開発の未来は、汎用モデルの性能競争から、「いかに専門家の知見を高品質なデータとして製品化できるか」という戦いにシフトしています。アーキテクチャや計算資源よりも、ドメイン特化型のデータセットを構築・管理する企業が、今後の AI 市場における真の競争優位性を持つことになるでしょう。