損失を伴う自己改善

高速な離脱、特異点、再帰的自己改善（RSI）は、最近の AI 業界において常に話題の中心となっています。これらには、現在 AI 業界で起こっていることに対する真実の要素が含まれています。2 つ、あるいは3つのラボが、最良の AI モデル（および次世代モデルを構築するためのリソース）へのアクセス権を持つ寡占体制として統合されつつあります。今日の AI ツールは、エンジニアリングや研究職を突然変革しています。

AI 研究は多くの点で非常に容易になっています。大規模言語モデルのトレーニングをさらにスケールさせるために解決すべき技術的課題は依然として困難です。これらの課題にアプローチ可能にする超人的なコーディングアシスタントが、これらを構築することに何が必要かという従来の主張の数々を崩壊させています。これらはすべて、AI の最前線において1年（あるいはそれ以上）の急速な進歩をもたらす土台となっています。

また、言語モデルはすでに非常に優秀な段階にあります。実際、多くの極めて価値のある知識労働タスクに対して十分すぎるほどです。言語モデルがさらに大きな一歩を踏み出すことは想像しにくく、コードや CLI ベースのコンピューター操作以外で今年彼らが習得するタスクが何であるかは不明確です。いくつかの新規タスクが登場することでしょう！これらの能力は、経済にさらなる波及効果をもたらす新しい働き方のスタイルを可能にします。

これらの劇的な変化は、言語モデルがその後自分自身で進歩を加速し続けることがほぼ確実であるかのように思わせる。この概念を表す一般的な用語は「再帰的自己改善ループ」です。このトピックに関する初期の文献は 2000 年代に遡り、例えば 2008 年にはこのテーマに特化したブログ記事も存在します。

再帰とは、「自分の認知アルゴリズムを再設計する」というオブジェクトレベルの問題を AI に任せた際に起こるような現象です。

さらに少し前、2007 年にユドコフスキーは『一般知能の組織レベル』において、関連する概念である「シード AI」を定義しています。

シード AI とは、自己理解、自己改変、および再帰的自己改善のために設計された AI です。これは、原始的な知能を実現するために必要な機能的アーキテクチャ（functional architectures）だけでなく、もしもそのホロニックな自己理解（holonic self-understanding）が向上し始めた場合の AI の後の発展にも影響を及ぼします。シード AI は、無知なコアからブートストラップすることで一般知能の課題を回避する抜け道ではありません。シード AI が利益をもたらすのは、利用可能なある程度の知能が存在して初めてです。シード AI の後の帰結（例えば真の再帰的自己改善）は、AI が顕著なホロニック理解と一般知能を獲得した後に現れます。

今日のモデルがいかに汎用的で有用であるかを考えると、私たちはまさにその始まりにいると考えられるのは妥当でしょう。

一般的に、RSI（自己再帰的改善）は、AI が自身を改善できる場合、その改善されたバージョンがさらに効率的に改善し、知性の爆発をもたらす閉じた増幅ループを生み出すと要約できます。これはしばしば特異点と呼ばれるものです。この概念にはいくつかの前提があります。RSI が発生するためには、以下の条件が必要です。

ループが閉じていること。モデルは自身に対して継続的に改善を行い、より多くのモデルを生み出すことができる。

ループが自己増幅していること。次のモデルは現在のモデルよりもさらに大きな改善をもたらす。

ループが効率を失うことなく継続して実行されること。指数関数的な成長を早期のシグモイド曲線に制限する摩擦的な要素が追加されないこと。

私は、持続的な AI の改善によって今後数年間で社会的に不安定化させるような画期的な変化が到来することに同意しますが、振り返った際に進歩のトレンドラインは指数関数的ではなく、より直線的になると予想しています。再帰的自己改善ではなく、それは損失を伴う自己改善（LSI）となるでしょう。モデルは開発ループの中核となりますが、摩擦によって RSI のすべての核心的な前提が崩壊します。問題に対して投入する計算資源やエージェントが増えるほど、損失と反復が目立つようになります。

Interconnects AI は読者支援型の出版物です。購読をご検討ください。

私は、高度なシステムにおける複雑性ブレーキが、主要な AI モデルを構築するために必要な各狭義タスクにおいて AI モデルが劇的に向上しているという現実に対する強力な均衡要因になると信じています。これは 2025 年 4 月に AI 2027 への回答として以前引用した内容です。

マイクロソフト共同創設者であるポール・アレンは、加速するリターンの反対である複雑性ブレーキを主張しました。つまり、科学が知能の理解に向けて進歩すればするほど、さらなる進展を行うことがいっそう困難になるという考え方です。特許数の研究によれば、人間の創造性は加速するリターンを示すものではなく、むしろジョセフ・テンターが『複雑な社会の崩壊』で示唆したように、収穫逓減の法則に従うことがわかります。千人あたりの特許数は 1850 年から 1900 年の期間にピークを迎え、その後は減少傾向にあります。複雑性の増大は最終的に自己制限的となり、広範な「一般システム崩壊」をもたらします。

モデルがすでにどのように訓練されているか、それを正しく行うために必要な深い直感、そしてそれらを構築する組織には、損失がどこから生じるのかを示す多くの例があります。主要な言語モデルを構築することは極めて複雑であり、さらにその複雑さが増しています。私の頭の中にはいくつかの核心的な摩擦点があります。

1. 自動化可能な研究はあまりにも狭い範囲に限られる

まず、今年の言語モデルはすでに、モデルのテスト損失を低下させるような局所的なタスクの最適化において有用なツールであることが明らかです。アンドレイ・カルパティ（Andrey Karpathy）氏は最近、まさにこれを行うことを一般化した「自己研究（autoresearch）」を発表しました。これにより、AI エージェントは GPU 上で直接動作し、テストセット上の損失を低下させるようなタスクに直接取り組むことができます。このアプローチは狭いドメイン、つまり単一の一般的なテスト損失や単一の全体的な報酬を対象とする場合に機能します。

問題は、紙面上ではより正確であるモデルと、ユーザーが実際に生産性が高いと感じるモデルとの間に長年の隔たりがあることです。最も挑発的なケースは事前学習（pretraining）であり、これはスケーリング則（scaling laws）に関する議論でより詳細に論じられました。スケーリング則は、損失が引き続き低下し続けることを示していますが、それが経済的に価値あるものになるかどうかはまだわかりません。

ポストトレーニングにおいて、強化学習アルゴリズムは、ほとんどの RL 訓練環境を直接評価指標として利用できるため、特定の性能向上と少なくともより直接的に結びついています。それでも私は一般化能力や、自己改善という特定のタスクにおいてより優れたモデルへと回帰させることについて懸念を抱いています。一部の分野でモデルが向上することから、必ずしもそれ自体の構築や実験設計においてより優れたモデルへと転換するとは限りません。これは大きな飛躍を要します。私たちは多くの AI 能力が、人間の嗜好における特定のレベルで飽和する様子を見てきました。例えば文章の質などがそうです。AI 研究はこの点では少し異なり、突破すべき天井が非常に高いという特徴があります。モデルが主に文章において飽和するのは、嗜好に内在的な緊張関係があるためですが、モデルが研究において飽和するのは、探索空間と最適化対象が広すぎるからです。

この種の能力を測定するための初期ベンチマークはすべて、同じ問題——狭いスコープ——に陥っています。エージェントは単一の指標の最適化においては良好な結果を出しますが、複数の指標を同時に扱うために必要な飛躍は、全く異なるスキルセットを要求します。実際、最も優れた研究者たちはこれを行っています——彼らは多くのスケーラブルなアイデアを協調させて機能させるのです。

これを測定するための最も関連するベンチマークは PostTrainBench ですが、これは非常に面白いものの、この上での進歩は急速に歪んでしまいます。ポストトレーニングを適切に行う際の課題の 90% 以上は、最終的な性能の最後の 1〜3% を獲得すること、特にドメイン外のタスクでモデルを過剰学習（"cooking"）させずに達成することにあります。汎用的な最先端モデルをポストトレーニングすることは極めて複雑であり、その複雑さはさらに増しています。

これについて延々と語り続けることもできます。もう一つの例として、私の博士課程（2017〜2022 年）の時期に挙げられます。当時、「AutoML」と呼ばれる分野には大きな注目が集まっており、ベイズ最適化などの手法を用いてモデルのための新しいアーキテクチャやパラメータを見つけようとするものでした。しかし、その熱狂は私の職を変えることにはつながらませんでした。言語モデルはこの以上のことを成し遂げるでしょうが、すぐにトップ AI 研究者の仕事を奪うほどではありません。研究者にとっての中核となる通貨は、特定の最適化や実装ではなく、直感と複雑性の管理です。

1. 並列する AI エージェントの増加に伴う収穫逓減

AI の急速な改善における最大の課題は、データセンターに 10,000 人のリモートワーカーを配置できたとしても、彼ら全員を一つの課題に集中させることがほぼ不可能である点です。本質的に、特にモデルがまだ非常に似通っている場合、それらは同じ解決策と能力の分布からサンプリングしており、人間の監督によってボトルネックになっています。エージェントを追加しても、付加できる限界性能には厳格な飽和が生じます——最良の数人の研究者の直感（および実験を実行する時間）が最終的なボトルネックとなるのです。

これを説明するための一般的な考え方に、コンピュータアーキテクチャから派生したアムダールの法則があります。これは、特定のタスクで得られる速度向上は、並列化可能な割合と並列ワーカーの数に比例して固定されることを示しています。以下にその例を示します：

AI の分野では、コンピュータの低レベルな動作の詳細がかなり謎めいているため、これを伝えることは比較的容易であるべきです。手書きでのコーディングから AI による自動補完支援へ、そして現在は自律型コーディングエージェントの使用へと移行している AI 研究者を想像してみてください。これらすべてが大きな進歩です。続けてみましょう。今やこの研究者は、現在の問題に対する異なるサブタスクやアプローチに取り組む 3〜4 エージェントを使用しています。これも依然として大きな進歩です。では、毎日 30〜40 のエージェントを組織化してタスクを与えようとする単一の研究者を考えてみてください。この規模からより多くの価値を引き出せる人もいますが、多くはありません。

AI エージェントに対して毎日 300〜400 のタスクを提案できる人はどれくらいいると思いますか？多くはいません。この問題は、AI モデルにとってもすぐに直面することになるでしょう。

1. リソースのボトルネックと政治

根本的に、すべての AI 企業は、巨額の資本を獲得し、十分な需要を通じて新しい計算リソースを収益に変換し、その一方で研究に莫大な費用を投じ続けるという微妙なバランスの上に立っています。ここで必要となるリソースの規模において、誰がリソースを得て何が賭けられるかについては、常に政治的なボトルネックが存在します。この層では、研究リーダーシップは AI や研究者よりも上位に位置しています。モデルが継続的に改善されようとも、この摩擦の原因が完全に除去されることはありません。これは本質的な摩擦ではありませんが、AI モデルは根本的に人間がリソースのボトルネックとなっている組織内で動作しているのです。

言語モデルにおける改善の初期段階は、1 日あたりのコストが 100 万ドル未満であるような局所的な最適化に過ぎません。AI の摩擦に関する私の他の見解と合わせると、これは改善速度に対して単独では非常に小さな影響しか持ちませんが、急速な取込み（take-off）、自己再帰的強化（RSI: Recursive Self-Improvement）、および AI への制御喪失を懸念する人々にとって、研究のための数十億ドル規模の計算リソースが、AI モデルのエンドツーエンド実験のために完全に隔離されることはあり得ないことは明白です。

ここで結論付けられるのは、AI 支援を自律的かつ大規模に AI 開発に利用するという点でまだ初期段階にあるため、私たちが集団的に AI がどのようにして私たちを劇的に支援できるかを発見しているということです。私たちは皆、これらのツールを、目に見える手頃な成果（low-hanging fruit）を獲得するために適用しており、私たちの仕事は文字通り、より高速かつ生産的なものへと変化しています。問題は、これらすべての軸に明確な人間の要因、政治的要素、あるいは技術的な複雑さによるボトルネックが存在していることです。

シグモイド曲線の底辺は常に指数関数的に見えるものです。言語モデルの時代において私たちは複数の指数関数を経験してきました。2023 年には巨大なモデルへとスケールし、GPT-4 は魔法のように感じられましたが、2025 年には o1 や推論モデルによる推論時のスケーリングが追加され、これらは私たちに数学やコーディングを「解決」させるようになりました。今や私たちは、AI ワークフロー全体（トレーニング計算リソースの膨大なスケールアップを継続しつつ）を磨き上げるという大きな一歩を踏み出そうとしています。2026 年は巨大な一歩のように感じられるでしょうが、それが進歩が加速し始めることを確信させる根本的な変化であるとは考えられません。

これはまだ AGI の通俗的な閾値を超える可能性があり、多くのリモートワーカーにとっての差し替え可能な代替手段となるでしょう。それは信じられないほどのマイルストーンです。今後数年間で AGI に到達したかどうかという議論における課題の多くは、AI モデルが人間とは異なる方法で不揃いであり、かつ賢い点にあるため、それらがリモートワーカーの差し替え可能な代替品のように見えるわけではないことです。しかし多くの場合、AI を使用するだけで、人間と協力して作業を試みるよりもはるかに効果的になります。これは仕事の内容そのものを再構築しています。

私たちが検討しているシナリオを考えてみましょう。

エンジニアリングは今日、自動化されつつあります。人間よりもはるかに生産性が高く、モデルは複雑なインフラストラクチャの展開を通じてはるかに迅速にスケーリングでき、より高い GPU 利用率で動作しますなどとなります。インフラストラクチャによる利益は、AI における進歩の基本単位である実験の速度と規模における固定的な改善へと転換されます。

基本的な AI モデルの研究と最適化も自動化されるでしょう。AI モデルの範囲が拡大しており、カーネルの記述からアーキテクチャの決定へと移行しています。これは実験ツールの改善から、それ自体が小規模な実験を実行することへの移動です。設定やハイパーパラメータなどは、AI アシスタントの領域となります。

これらはいずれも現実です。問題は、第3の時代には単純に飛び越えるためのスケールが存在しないことです。AI モデルが合成と実行によって知識を創出できる一方で、次の飛躍には数千のエージェントを活用するか、推論時間スケーリングの次となるパラダイムを解き放つようなより画期的な発見をモデルが行う必要があります。AI 以降の改善は業界をヒルクライミングにおいて超高速化しますが、私はこれが新しいカテゴリの AI（継続的学習、ワールドモデル、あるいはあなたが好むどのようなものでも）に必要なパラダイムシフトをもたらすとは考えにくいと懸念しています。

全体として、モデルが開発ループの中核となりつつあり、これには興奮と不安の両方があります。モデルは自己改善を行っていますが、アプローチそのものを変革しているわけではありません。私たちは研究実践やツールに投入する計算リソースを拡大しており、そこには逓増する収益が現れています。エージェントは私たちが共に働く自律的な存在として登場し始めます。それらは天才と5 歳児の中間のような感覚を与えます。私たちは数年間、損失のある自己改善（Lossy Self-Improvement: LSI）の時代にいることになりますが、これは急速なテイクオフには不十分です。