AI の次なるスケーリング法則は再帰性、巨大モデルの限界を越える

AI の次なるスケーリング法則は「再帰性」：巨大モデルの限界を越える新しい思考プロセス

現在の AI 業界では「より巨大なモデル」を作ることが正解のように語られていますが、Y Combinator のフランソワ・シャード氏は、その方向性が推論能力の壁にぶつかっていると指摘します。彼が提唱するのは、パラメータ数を増やす従来のスケーリングではなく、「推論時間（再帰回数）」を拡張する新しいアプローチです。

Transformer モデルには欠落している「外部メモリ」を再帰型アーキテクチャで補完し、700 万パラメータの超小型モデルが巨大モデルよりも複雑なタスクを解決できる可能性を示すこの議論は、AI インフラのパラダイムシフトを告げる重要な転換点です。

Transformer の「推論限界」と外部メモリの欠如

現在主流の LLM（大規模言語モデル）は、Transformer アーキテクチャを採用しています。これは訓練時にすべての入力を並列処理できるため、学習効率が極めて高いのが特徴です。しかし、この構造には本質的な弱点があります。

Transformer は外部メモリ（テープ）を持たないため、複雑なアルゴリズムを学習することができません。

シャード氏はこれを「ソート」の例で説明します。リストをソートするには理論上、最低でも n log n 回の比較ステップが必要です。しかし、Transformer の層数（パラメータの数）が固定されている場合、入力データが大きくなると必要な計算ステップをすべて実行することが物理的に不可能になります。

「モデルに組み込まれた外部メモリがないため、速度に関する性能の可能性を失っているのです」とシャード氏は指摘します。GPT-2 などのモデルは、思考の連鎖（Chain of Thought）を使えばテスト時には正解できる場合もありますが、それを学習させるには人間がラベル付けした膨大な追跡データが必要であり、本質的な推論能力としては限界があります。

RNN の復権：再帰性と時間方向の圧縮

この問題に対する解決策として注目されているのが、RNN（リカレントニューラルネットワーク）やその派生モデルである HRM（階層型推論モデル）、TRM（小型再帰モデル）です。

10 年前に一度ブームとなった RNN は、長らく「勾配消失」の問題により敬遠されてきました。しかし、シャード氏は現在、RNN の本質的な価値が再評価されつつあると語ります。

RNN や HRM/TRM は、内部状態を保持し再帰的に処理することで、時間方向の圧縮と効率的な推論が可能となります。

Transformer が「すべてのステップを一度に処理する」のに対し、RNN シリーズは「隠れ状態（Hidden State）」というメモリを持ち、情報を圧縮しながら時間をかけて処理します。これは脳の仕組みに近いアプローチです。

脳には異なる周波数で動作する異なる部位があり、低レベルと高レベルが相互作用しています。HRM はこの生物学的な直感に基づき、複数の再帰レベル（低レベル、高レベル、外部リファインメント）を組み合わせることで、複雑な推論を実現します。

700 万パラメータの奇跡：スケーリング法則の転換点

最も驚くべき成果は、これらの新しいアーキテクチャが「モデルサイズ」に依存しない推論能力を発揮することです。シャード氏が紹介した HRM は、ARC Prize（知能型推論の課題）において、わずか 2700 万パラメータという超小型モデルでありながら、当時最先端のスコアを記録しました。

これは、従来の「パラメータ数を増やせば性能が上がる」というスケーリング法則の転換点を示しています。シャード氏はこれを「Time Scaling（時間スケーリング）」と呼びます。

重要なのはモデルサイズだけでなく、推論時の再帰回数を増やすことです。小型モデルでも、必要な分だけ時間をかけて計算（再帰）することで、巨大モデルを超える性能を発揮できます。

例えば、ソートや迷路の解決など、従来の Transformer ではワンショットでは不可能な「圧縮不可能な問題」も、再帰的な推論ステップを繰り返すことで解決可能になります。これは、チューリングマシンが外部メモリ（テープ）にアクセスすることで計算能力を飛躍的に高めるのと同等の原理です。

深層平衡学習：勾配消失問題を克服するトリック

なぜ今、RNN が復活したのか？最大の理由は、長年の課題であった「時間逆伝播（Backpropagation Through Time）」による勾配消失や爆発の問題を、新しい手法で克服できたからです。

従来の RNN は、時間を遡って誤差を伝搬させる際、ステップ数が多くなると誤差が蓄積し、学習が機能しなくなっていました。しかし、HRM や TRM で採用された「深層平衡学習（Deep Equilibrium Learning）」や「固定点反復」という手法により、この問題を回避しています。

彼らは時間逆伝播に縛られず、モデルを大きくできるのです。代わりに、隠れ状態が収束するまで再帰処理を繰り返すことで、勾配消失の問題を解消しました。

具体的には、バッチを取得して順伝播・逆伝播を行う際、従来のように新しいバッチを使うのではなく、同じ入力に対して異なるメモリ状態からミニバッチを構築するように 16 回ほど反復処理を行います。これにより、残差（誤差）が小さくなりながら学習が進むため、安定した推論が可能になります。

生物学的妥当性より「理論的効率」へ

シャード氏は、これらのモデルが脳に着想を得ている点について言及しつつも、機械学習における「生物学的妥当性」への過度な依存には注意を促します。

多くの研究で、生物学的に正しいとされる仕組み（例：局所受容野や抑制）を導入しても、実際には機能しないことがありました。最終的には、GPU で効率的に動作する「理論的な効率性」が優先されます。

重要なのは、脳を模倣することそのものではなく、「自動化されたデータ構造やアルゴリズムの理論」に基づき、モデルがメモリキャッシュを知的に使いこなせるように訓練できるかという点です。ニューラルネットワークが外部メモリ（隠れ状態）を活用することで、複雑な推論を効率的に行えるようになれば、それが AGI（汎用人工知能）への道筋となります。

まとめ：次世代 AI は「小型かつ高知能」な再帰型エージェントへ

現在の AI 業界は「より大きなモデル」への依存から脱却し、計算リソース効率の高い推論アーキテクチャの開発競争へとシフトしています。Transformer の表現力と、RNN/TRM/HRM の再帰的推論能力を融合させたハイブリッドなエージェントが、次世代 AI の主流になると予測されます。

今後の AI は、モデルサイズだけでなく「推論時間の拡張」こそが次のスケーリング法則となります。エッジデバイスやコスト敏感な環境でも、小型かつ高知能な再帰型エージェントが活躍する時代がすぐそこに来ています。