データ品質が計算資源の乗数に — Ari Morcos氏、DatologyAI

データ品質こそが計算資源の「乗数」である：Ari Morcos氏が語る、AI開発のパラダイムシフト

H100などのハードウェア価格の高騰や推論トークンの爆発的増加により、計算リソースはかつてないほど逼迫しています。そんな中で、Datology AI のCEOである Ari Morcos 氏は、「データ品質の向上こそが、計算コストに対する性能を最大化する唯一の『乗数』だ」と断言します。

無限に計算資源を増やす依存から脱却し、データエンジニアリングとキュレーションへの投資を見直すことで、中小企業でも最先端モデルに匹敵する成果を得られる時代が来ているのです。

逼迫する計算リソースと「乗数効果」の重要性

現在、AI業界は計算資源の供給不足という深刻な課題に直面しています。H100 の価格は数年ぶりの下落傾向を反転し、昨年末の安値から約40%上昇しました。さらに、推論時のトークン使用量は reasoning モデルの普及により急増しており、非推論モデルの8倍ものトークンを消費するようになっています。

この状況は、API の利用制限やトークンの先物販売といった現象を引き起こしています。Google が Meta の Gemini 利用を制限した事例や、OpenAI がトークン容量の保証を開始した背景には、「最先端へのアクセスが物理的に不足する」という現実があります。

「計算資源が不足している世界でモデルをより良くするにはどうするか？答えは『データ』です。」

Morcos 氏は、データ品質を高めることが学習曲線を急峻にし、同じ計算量で劇的な性能向上をもたらす「乗数効果」を生むと説明します。これは、単なる微調整ではなく、計算コストに対する性能向上率そのものを変える根本的な変化です。

データキュレーションの4C：情報獲得量を最大化するアプローチ

Datology AI は、既存のデータを精製・強化する「データのリファイナリー」として機能しています。彼らが提唱するのは、トークンあたりの情報獲得量（Marginal Information Gain）を最大化するための「4C」アプローチです。

1. Clean（クリーニング）：単なるフィルタリングを超え、ベンチマークへの汚染（Decontamination）を徹底的に排除します。これにより、モデルがテストデータを見て覚えているだけの状態を防ぎます。
2. Curate（キュレーション）：多様性を確保し、冗長性を排除します。特定のタスクに最適化されたデータをバランスよく組み合わせることで、モデルの堅牢性を高めます。
3. Create（合成）：既存のデータから高品質な合成データを生成し、サイズと多様性を飛躍的に拡大します。これは高度なデータ拡張の一種です。
4. Compose（構成）：異なるトレーニングフェーズでデータをどう配列するかを設計し、継続的なカリキュラム学習を実現します。

「万能なデータセットは存在しません。法律モデルには法律データ、医療モデルには医療データが必要であり、タスクに最適化された多様性が不可欠です。」

計算効率と性能の実証：145分の1の計算量で最先端へ

この「4C」アプローチがもたらす効果は、数値で明確に示されています。特にビジョン・ランゲージモデル（VLM）における成果は目覚ましいものです。

Datology AI がキュレーションを施したデータを用いて訓練したモデルは、Quen 3.5B と同等の性能を達成しました。驚くべきことに、これは145分の1の計算量で実現された結果です。また、推論時の効率性においても、同じ正答率を得るために必要な計算リソース（FLOPs per response）が大幅に削減され、回答もより簡潔になることが確認されています。

「データキュレーションにより、あたかも100倍の計算資源を投入したかのような性能向上が可能になります。」

多言語対応と公平性：偏ったインターネットデータを是正する

現在のAIモデルは英語圏や先進国に偏っており、非英語圏や開発途上国での利用が困難という課題があります。Morcos 氏は、この不公平性をデータキュレーションで解消できると主張します。

彼らの実験では、多言語データ（MMLU）において、全データのわずか8%しか非英語トークンを使用していないにもかかわらず、最先端のマルチリンガルモデルを凌駕する性能を達成しました。これは、膨大な非英語データがなくても、適切なキュレーションと合成技術によって、世界中の人々が公平にAIを利用できる環境を作れることを示しています。

低コストでの最先端構築：民主化されたAI開発の可能性

Datology AI は、プロプライエタリ（閉じた）なデータや高価なクローズドモデルに依存せず、公開データを適切にキュレーションすることで、2000万ドル未満で最先端と競合するモデル「RCI Trendy Large」を構築しました。

これは、大企業だけでなく、スタートアップや中小企業にとっても画期的な事実です。計算資源の無限拡大への依存から脱却し、「いかに質の高いデータを選ぶか」というエンジニアリングの重要性が再認識されることで、AI開発の民主化が加速するでしょう。

「データ品質を高めることは、計算コスト削減の鍵であり、最先端性能達成への最短ルートです。」

まとめ

Ari Morcos 氏の提唱する「データ品質こそが計算資源の乗数である」という視点は、AI開発の未来を変える重要な示唆を含んでいます。ハードウェアの壁に直面した今、計算リソースを浪費するのではなく、データそのものの質を高めることで、より少ないコストでより高性能なモデルを実現できる道が開かれています。このパラダイムシフトは、業界全体のコスト構造と研究開発の方向性を根本から変える可能性を秘めています。