コンテキストにおける計算リソースの拡張 — エングラム、ジャック・モリス

コンテキストにおける計算リソースの拡張：AI に「深み」を与える新たなパラダイム

現在の大規模言語モデル（LLM）は、公開データへの依存から脱却できず、個人の文脈や専門的な深みを持った知識を獲得できないという根本的な課題を抱えています。ジャック・モリス氏は、この限界を打破するために、「Scaling Compute on Context（コンテキストにおける計算リソースの拡張）」という概念を提唱します。これは、固定されたデータセットに対して計算リソースを無限に投入し、モデルが自己改善プロセスを通じて真の「深み」を獲得するアプローチです。

公開データの限界と「深み」の欠如

現在の AI モデルは、ウィキペディアや GitHub のコード、アーカイブされた論文など、世界中の公開データを学習することで驚異的な広がり（breadth）を示しています。しかし、その反面で「深み（depth）」には大きな欠陥があります。

著名な数学者テレンス・タオ氏も指摘するように、AI はあらゆる数学的トピックを網羅し、人間が気づかないような分野間のつながりを発見できます。一方で、特定の分野で 5 年間研鑽を積んだ大学院生が持つような、問題空間に対する直感的な理解や「無意識の勘所」は持ち合わせていません。

AI は公開データを知り尽くしていますが、あなたが昨夜メキシコ代表の試合結果を知っているか、あるいはあなたの家族が毎年どこへ旅行に行くかなど、あなたの個人的な文脈については一切知りません。

この問題は単なる学術的な課題ではありません。現在のモデルは学習後に新しい知識を獲得できず、かつ公開データ以外での深い専門性や個人文脈の理解が不可能です。例えば、AMD GPU 用のカーネルを書くような特殊なスキルや、特定の企業とのパートナーシップに関する機密情報などは、学習済みモデルには埋め込まれていません。

データ量ではなく「計算リソース」を拡張する

AI モデルの進化は通常、以下の 3 つのスケーリング軸によって支えられてきました。

1. より多くのデータで訓練する
2. より長い時間（計算リソース）をかけて訓練する
3. モデル自体を大きくする（容量を増やす）

しかし、これらすべてのアプローチは「公開データ」を対象としており、個人や組織の独自データに対して適用するには限界があります。独自のデータを無限に生成することは不可能であり、ゼロから学習し直すことも現実的ではありません。

そこでモリス氏が提案するのが、固定されたデータセット（コンテキスト）に対して計算リソースをスケールさせるという発想です。これは、データ量を増やすのではなく、既存の限られたデータに対して、より多くの計算資源を投入してモデルを訓練するアプローチです。

理想論的な視点では、「同じデータでいかにしてより良いモデル（θ*）を作るか」が問われています。これが「Scaling Compute on Context」の本質です。

自己改善プロセスによる難易度の向上

単純に既存のデータを次トークン予測の形で学習させるだけでは、モデルはすぐに飽和し、生成時に崩壊してしまいます。データが完全にモデル内部に転写されてしまうと、それ以上学習が進まず、汎化能力も失われてしまうからです。

この課題を解決する鍵となるのが、自己改善プロセス（Self-improvement loop）です。モデルが自ら生成したデータを基に難易度を上げながら再訓練を行うサイクルを構築する必要があります。

これは、教科書だけを暗記するのではなく、関連する資料を探し出し、他者と議論しながら学習を深める人間の勉強法に似ています。固定されたデータセットに対して計算リソースを投入し続けることで、モデルは単なる事実の暗記を超え、その文脈に対する深い理解と専門性を獲得していくのです。

結論：AI インフラと開発者体験の変革へ

「Scaling Compute on Context」は、従来の継続学習（Continual Learning）やニューラルメモリなどの概念を包括する新しいパラダイムです。このアプローチが実現されれば、エンタープライズ AI やパーソナライズドエージェントの開発において、データプライバシーと専門性の両立が可能になります。

企業や個人が独自のデータをモデルに深く学習させる手法として注目されることで、RAG（検索拡張生成）の限界を超えた、真に文脈を理解する高機能な AI システムの実現に向けた道筋が開かれるでしょう。これは単なる技術的な改良ではなく、AI インフラと開発者体験そのものを変える大きな転換点となるはずです。