データ動向：独立系 AI エンジニア Sean Cai が語る

AI データ市場の嘘と真実：「ベンチマーク精神病」に陥る業界が本当に必要なものとは

AI エンジニアの Sean Cai 氏は、現在のデータ市場が「人工的に作られたデータ（Type 2）」への依存によって歪み、本来の価値である「実世界の生データ（Type 1）」を見失っていると警鐘を鳴らします。検証可能性に乏しい医療や法務領域では「正解」の定義すら曖昧であり、業界は利益追求のための偽装されたベンチマークという「精神病」に陥っているのです。

真の競争優位性は、単なるモデルの性能向上ではなく、企業内のリアルタイムな業務フローからデータを抽出し、継続的に学習させるインフラの構築にかかっています。

垂直統合型巨人の解体と専門化の定着

かつて AI データ市場は、Scale AI や Remarque といった巨大企業がデータ収集からアノテーション、評価までを一貫して行う「垂直統合型」モデルが支配していました。しかし、この構造はすでに崩壊し、現在は専門特化した小規模ベンダーによる分業化が定着しています。

Cai 氏によれば、この変化は一時的なものではなく永続的なものです。なぜなら、データの質は量に比例して向上するものではないからです。大企業が大量のデータを処理しても品質が担保できず、各工程（人材の確保、環境構築、報酬設計、評価実行）で専門家が勝るため、大手企業も「ベンダー多様化」を余儀なくされています。

実際、多くのラボでは信頼性の欠如から、20〜30 社もの異なるベンダーと取引するようになっています。これは、データ市場が巨大な工場ではなく、「職人芸」に支えられたコテージ産業へと変貌したことを意味します。

Type 1 と Type 2 データ：市場を歪める「人工物」の罠

Cai 氏が提唱する最も重要な概念は、データの性質を二つに分類する点です。

• Type 1 データ（実世界の生データ）: GitHub のコミット履歴やセッション再生記録など、実際の業務フローから直接取得されたデータ。非専門家による報酬設計が最小限に抑えられています。
• Type 2 データ（人工的に作られたデータ）: 専門家を雇い、任意の環境で例題を製造させたデータ。

初期の AI モデルが初等レベルだった頃は、Type 2 データでも学習効果がありました。しかし、モデルが中級者から上級者へと成長する過程（20% から 80% の壁）では、Type 1 データの「現実味」が不可欠となります。

業界の汚い秘密は、誰もが Type 2 データを販売し、それを Type 1 と偽っていることです。多くのデータ企業が現在購入しているのは、死んだスタートアップのコードベースや人工的に作られたベンチマークです。しかし、真に価値のあるデータは、生きているビジネスプロセスからリアルタイムで抽出されるものでなければなりません。

検証可能性の法則：なぜ医療と法務は遅れているのか

AI アプリケーションがどの領域で成熟するかを決定づけるのは、「タスクを検証しやすいか」という点です。これは研究者 Jason Wei が提唱した「検証者の法則（Verifier's Law）」に基づいています。

Cai 氏は、この検証可能性を以下の 3 つの軸で評価します。

1. 非対称性: タスクを分解してチェック可能なステップにできるか？
2. 真実性: 「正解」についてコンセンサスがあるか？
3. 普及率: 検証済みの新鮮な事例が現実世界から得られる頻度は高いか？

この観点で見ると、コーディングや検索が最初に成熟したのは当然です。GitHub の存在により、ユニットテストによる客観的な正誤判定（非対称性）、コミュニティの合意（真実性）、そして無数の公開されたコード例（普及率）がすべて揃っていたからです。

一方、医療、法務、生物学、金融などの領域は、これら 3 つの軸で低いスコアしか得られません。「正解」の定義が曖昧であり、検証事例も企業内の閉じたワークフローにロックされているためです。これが、これらの分野での AI 応用が遅れている構造的な理由です。

ベンチマーク精神病：利益追求による評価の歪み

業界では現在、「ベンチマーク精神病」と呼ばれる現象が横行しています。これは、利益追求のために人工的に作成されたベンチマークが乱立し、モデルの実力を誤って評価させる状態を指します。

典型的な悪手は以下の通りです。

1. ドメイン専門家を雇い、チャットで妥当なタスクを生成させる。
2. モデルの回答から「外れたもの」だけを抽出して難問とする。
3. そのベンチマークでモデルがスコアを上げるようデータを販売し、学習させる。

これはグッドハート法則（指標が目標になると、その指標はもはや何を測定しているかわかなくなる）に利益動機が加わったものです。人工的なベンチマークは単一の孤立した質問しかテストできず、モデルが長期間にわたって論理的な推論を維持できるかどうかを検証できません。

Cai 氏は内部で実施した金融タスクの評価（ARR 水 reconciling や LBO バリュエーションなど）において、最新モデルが必ずしも前バージョンより優れていないケースや、数値計算と論理構成の得手不得手が逆転する事例を報告しています。これは、単一のベンチマークスコアに過度な期待を抱えることの危険性を示しています。

結論：競争優位性は「インフラ」にある

現在の AI エンタープライズ市場は、「データ収集」から「リアルタイムワークフローの自動化・学習インフラ」へと転換点を迎えています。外部ベンダーへの依存を減らし、自社の内部プロセスデータを資産化し、継続的な強化学習（RL）パイプラインを構築することが、真の競争優位性の鍵となります。

モデルそのものの性能争いよりも、実世界の生データ（Type 1）をいかに効率的に抽出・活用するインフラを持つか。これが、AI の次の白熱地帯となるはずです。