AI 計算能力が 100 万倍に飛躍した先

AI 計算能力が 100 万倍に飛躍した先：データ枯渇は嘘、未来は「推論」と「自律」で動く

Google の首席科学者ジェフ・ディーン氏は、AI が直面する最大の懸念である「学習データの枯渇」を明確に否定し、計算能力が過去 10 年で 100 万倍向上した先にある未来を描きました。彼によると、データ不足はもはやボトルネックではなく、現代のデータセンターでは「推論」が主流となり、AI エージェントが数日で航空機を設計する時代がすぐそこまで来ているのです。

データ枯渇への懸念は杞憂：動画と合成データが新たな原動力

現在、多くの業界関係者が大規模言語モデル（LLM）の学習に使う公開テキストデータの限界を危惧しています。しかし、ジェフ・ディーン氏は「まだトレーニングに活用されていない魅力的な動画データが世界中に大量にある」と断言します。

「世界中の公開テキストデータの多くは確かに使ってきました。しかし、まだトレーニングに活用されていない魅力的な動画データが大量にあります」

さらに、AI 自身が生成する合成データや、既存データをアルゴリズム的に拡張する技術も強力な解決策となります。例えば、コード生成において「Python で解いた答えを Go 言語で再翻訳する」といった手法を使えば、同じ問題から複数の言語のトレーニングデータを自動生成できます。

「実質的にプロンプトは、あなたが望むシステムの完全な仕様が機能している状態であり、単に何らかの理由で別の言語で欲しいだけだからです」

「AI 生成データが AI の学習に使われると、皆が同じものを学習してしまいます」という懸念に対し、ディーン氏は「十分な計算リソースがあれば、大量のデータの中から有用な小さな針（良い解決策）を一つでも見つけ出し、そこから学習できる」と反論します。フィルタリング技術やテストによる選別が進めば、合成データであっても高品質な学習素材として機能するのです。

データセンターの革命：トレーニングから「推論」へ

現代のデータセンターで起きている最も大きな変化は、計算リソースの配分にあります。かつてはモデルを訓練する「トレーニング」が中心でしたが、現在はその 90% が「推論（インフランス）」に割かれています。

「現代のデータセンターではトレーニングより推論が主流となり、これに特化したハードウェア設計が不可欠です」

推論には、ユーザーのリクエストに応えるオンライン処理や、自律的な行動を取るためのシミュレーションなど、多様な形態があります。これらの特性はトレーニングとは全く異なり、低精度かつ高効率な専用チップの必要性を浮き彫りにしています。

Google はすでに、この方向性を示す TPU v8i や v8T などの新チップを発表しています。特に注目すべきは、15 年前なら「あり得ない」と言われた FP4（4 ビット浮動小数点）での推論が実際に機能している事実です。

「FP4 でさえ機能するなんて、あなたが言ったのはかなり驚きです。15 年前のコンピュータサイエンティストにそれを話せば、『そんなことはあり得ない』と言うでしょう」

距離を保存する変換や回転などの計算においても、極端な低精度化が実現可能であり、これによりエネルギー効率と処理速度が劇的に向上しています。

AI エージェントによる自律工学：数年かかる設計を数日で完了させる未来

計算能力が今後 10 年でさらに 100 万倍向上すると仮定した場合、私たちはどのような世界に到達するのでしょうか。ディーン氏は、複雑なエンジニアリングタスクを「マルチエージェントワークフロー」で処理する未来に大きな期待を寄せています。

「AI エージェントが数日で航空機を設計するような自律的な工学タスクの実現可能性について期待感を示しました」

現在すでに、シンプルなプロンプトだけで OS を自律的に作成する実験や、複雑なタスクを小さなサブタスクに分解して複数のエージェントが連携して解決する試みが成功しています。例えば、人間が数年かけて行う航空機の設計や新チップの設計プロセスも、適切なシミュレーション環境と学習セットを持つエージェント群が連携すれば、数日で完了させることが可能になるはずです。

「従来は多くの人が関わり、何年もかけて達成していたことを、もっと多く成し遂げられるでしょうか。例えば、飛行機を設計する際、何年もかける代わりに、5 日で設計できますか？」

これは単なる効率化ではなく、科学技術や工学分野における開発スピードの根本的な変革を意味します。

オープンとクローズドの対立を超えた「蒸留」の時代

最後に、オープンソースモデルとクローズド（非公開）モデルの関係性について触れられています。多くの人が「フロンティアモデルが公開されなければオープンモデルは進化しない」と考えがちですが、ディーン氏は「蒸留（ディストillation）」技術がこの成長を牽引していると指摘します。

「大規模モデルから小規模モデルへ知識を転送する『蒸留』がオープンソースモデルの進化の主要な原動力であり、閉鎖・公開の対立ではない」

Google の Gemma や Flash モデルなど、多くの優れたオープンモデルは、より巨大で高性能なクローズドモデルから知識を「蒸留」して作られています。これは、モデルのサイズが小さくても極めて高い性能を発揮させるための鍵となる技術です。

「本質的な問いは、クローズドかオープンかという問題ではなく、小さくても極めて高性能なモデルを望むなら、推論効率はやや低くともより大規模で能力の高いモデルを作り続け、その後、蒸留を使って知識を小さなモデルへ転移させる必要があります」

このアプローチにより、最先端の性能を持ちながら、コストと計算リソースを抑えたモデルが次々と生まれています。オープンかクローズドかの対立ではなく、「いかにして高性能な知識を効率的に伝達するか」という技術的な課題へと焦点が移りつつあります。

まとめ

ジェフ・ディーン氏の言葉は、AI が「データ不足」の壁にぶつかったのではなく、むしろ「推論特化ハードウェア」と「自律型エージェント」によって新たな次元へ進んでいることを示しています。計算能力の飛躍的向上と、データの活用方法の変化が相まって、科学技術や工学開発のスピードは劇的に加速し、私たちの生活や産業を根本から変える未来が目前に迫っているのです。