AGIはマイルストーンではない

OpenAI の最新モデル o3 のリリースに伴い、人工一般知能（AGI）がすでに達成されたかどうかについて議論が再燃している。この主張に対する標準的な懐疑論者の反論は、AGI の定義に合意がないという点である。これは事実ではあるが、本質を見失っている — AGI がそれほど画期的なマイルストーンであるなら、それが構築された際に明白ではないだろうか？

本論文では、AGI はマイルストーンではないと主張する。それは AI システムの特性や影響における不連続性を表すものではない。いかなる定義に基づいて企業が AGI を構築したと宣言しても、それは実行可能な出来事にはならない。企業、開発者、政策立案者、あるいは安全性にとって何ら示唆を与えるものではない。具体的には以下の通りである。

汎用 AI システムがいかなる合意された能力閾値に達したとしても、その生産的な影響を実現するには、AI が業界全体に浸透させるための多くの補完的イノベーションが必要となる。浸透は技術開発の速度ではなく、人間（および社会）の時計スケールで起こるものである。

AGI や壊滅的リスクに関する懸念は、しばしば能力と力を混同している。この二つを区別すれば、人類が制御を維持できなくなるという AI 発展における臨界点という考え方を拒絶できる。

AGI の定義の蔓延は、病気そのものではなく症状である。AGI が重要なのは、それがもたらすと想定される影響によるものであり、AI システム自体の性質に基づいて定義されなければならない。しかし、システム特性と影響との間の結びつきは脆弱であり、AI システムが動作する環境をどのように設計するかによって大きく依存する。したがって、特定の AI システムが変革的な影響を与えるかどうかは、そのシステムがリリースされた時点ではまだ未確定である。ゆえに、ある AI システムが AGI を構成するという判断は、回顧的にしか意味を持って行うことはできない。

AGI に対する核兵器の逆比喩

AGI の達成は、OpenAI や AI 研究コミュニティの多くにとって明示的な目標である。これは、マンハッタン計画において核兵器を構築・配備することが主要な目標であったのと同等に、マイルストーンとして扱われている。

この目標がマンハッタン計画におけるマイルストーンとして妥当だった理由は二つある。第一は観測可能性である。核兵器の開発においては、目標達成の有無について疑いの余地はない — 爆発こそが観測可能性の象徴である。第二は即時的な影響である。核兵器の使用は第二次世界大戦の迅速な終結に寄与し、また新たな世界秩序を招き入れ、地政学における長期的変革をもたらした。

多くの人は、AGI はこれらの性質を持つという直感を持っています。それはあまりにも強力であり人間らしく、それが構築されたことが明白になるでしょう。そしてすぐに、経済の大きな部分を自動化し、AI 研究自体を含むイノベーションの大幅な加速をもたらすとともに、制御不能なスーパーインテリジェンスから人類に壊滅的な結果をもたらすという、多大な利益とリスクを即座にもたらすことになるでしょう。

本論文では、AGI はまさにその反対であると主張します。それは明確な能力閾値が存在しないため観測不可能であり、世界に対する即時的な影響はなく、長期的な経済の変容さえも不確実です。

過去の論文では、AGI を核兵器に例えることで、一部の人が推奨するおそらく壊滅的な政策介入に対して反対してきました。この比喩が、私たちが誤りであると考える予測や逆効果な提言を確実に生み出すことは、私たちにとって驚くべきことです。

o3 が AGI であると思うのは狂気ではありませんが、これは o3 よりも AGI についてより多くを語っています

多くの著名な AI コメンテーターは、o3 を一種の AGI（人工一般知能）と呼んでいます。タイラー・コーエンは、「AGI が見えたとき、それだとわかるなら、私はそれを見た」と述べています。イサン・モリックは o3 を「不揃いな AGI」と表現しています。一体何が o3 に対してこれほど大きな興奮をもたらしたのでしょうか？

o3 の核心的な革新は、推論プロセスの一部としてウェブ検索やツール使用を学習するために強化学習（reinforcement learning）を用いている点にあります。1 これにより、LLM（大規模言語モデル）が直接処理できるよりも複雑な認知タスクを実行でき、かつその方法は人間に近い形で行うことが可能になります。

比較検討を行う人物を例に考えてみましょう。彼らはいくつかの商品を確認し、それらのレビューを参照してどの機能が重要なのかをより深く理解し、その知識をもとに検討対象となる商品セットを反復的に拡大または縮小します。o3 はこのようなタスクを decent なレベルでこなせる一般化されたエージェント（generalist agent）です。

これが AGI にとって何を意味するのかを考えてみましょう。o3 の詳細に立ち入って混乱するのを避けるため、o3 と同じアーキテクチャを持つがはるかに能力の高い将来のシステムを想像してください。例えば、オンライン状態であれば、タスクに必要なウェブページや知識を、見つけるのがどれだけ困難であっても常に正確に見つけ出すことができます。必要に応じてインターネットからコードをダウンロードして実行し、タスクを解決することも可能です。これらに科学技術的な画期的発見は不要であり、必要なのはエンジニアリングの改善とさらなるトレーニングだけです。

同時に、科学的な改善がない限り、このアーキテクチャは深刻な制限を課します。例えば、この将来のシステムは、トレーニングへの明示的な更新を除き、経験から新しいスキルを獲得することはできません。その場で学習できる AI システムを構築することは、未解決の研究課題です。

仮想的なシステムが AGI と言えるでしょうか？おそらく yes です。多くの AGI の定義に共通するのは、広範なタスクにおいて人間を上回る能力を持つことです。タスクのセットがどの程度狭く定義され、各タスクに関連する人間の集団がどの程度広く定義されるかによって、この将来の o3 に似たモデル/エージェントがいくつかの AGI 定義を満たすことは十分にあり得ます。

例えば、大規模言語モデル自体がチェスにおいてせいぜい平均的な性能しか出せないという事実にもかかわらず、チェスにおいては人間を超えた能力を発揮するでしょう。モデルはツールを使用し、インターネットを検索し、コードをダウンロードして実行できることを思い出してください。タスクがチェスを指す場合、システムはチェスエンジンなどをダウンロードして実行します。

多くのタスクにおいて人間レベルまたはそれ以上の性能を発揮し、おそらくいくつかの AGI 定義を満たすとしても、実際の世界における多くのタスクではひどく失敗する可能性が高いでしょう。その理由については後ほど触れます。

これらは何らかの意味を持つのでしょうか。もちろんです。AI 企業のリーダーたちは、数年以内に AGI を実現すると非常に大きな声で予測し、約束してきました。彼らが近い将来のシステムを AGI と宣言することには莫大なインセンティブがあり、そうしないことには潜在的に莫大なコストが生じます。おそらく AI 企業の評価額のいくらかはこれらの約束に基づいているため、AGI が実現されなければバブルが崩壊する可能性もあります。AI 開発におけるリーダーとして認識されることは、市場シェアと収益の向上を助け、人材へのアクセスも改善する可能性があります。

したがって、企業が AGI の構築を主張した場合、どのような結果が生じるのでしょうか？これについては、本稿の後半で分析します。

「AI Snake Oil」は AI に関する過剰な宣伝を否定し、新しい進展について証拠に基づく分析を発表しています。

AGI は経済に衝撃を与えない。なぜなら浸透には数十年かかるからだ

AGI をマイルストーンとして扱い、その宣言を真剣に受け止めるべきだという主張の一つは、AGI が急速な経済的影響をもたらす可能性があり、それがポジティブかつネガティブの両方であるという点です。例えば、希少性がなくなる世界、貨幣概念の終焉、あるいは突然の大規模失業などが挙げられます。

しかし、AI の経済的インパクトは、それが経済全体に普及されて初めて実現されるものです。技術的な進歩はこのインパクトを実現するために必要ですが、それだけでは不十分です。過去における汎用技術、例えば電気、コンピューティング、インターネットについては、根本的な技術的進歩が社会全体に浸透するまでに数十年を要しました。産業革命の奇跡とは、高い成長率そのものではなく（年間成長率は平均して 3% を下回っていました）、数十年にわたる持続的な成長期間こそが真の奇跡でした。

AI の普及には多くのボトルネックが存在します。有用な製品やアプリケーションの開発、これらの製品を活用する労働力の育成、AI 利用を可能にするための組織変革の実施、そして企業が AI を採用することを促進する法制度と規範の確立などです。過去の汎用技術と同様に、この普及プロセスが展開されるにつれて、AI の経済的インパクトも数十年をかけて実現されると予想されます。

論文「AI as Normal Technology」では、なぜこれがそうなるのかについて詳細な論拠を提示しています。能力の急速な向上が即座に経済的なインパクトをもたらすという考え方は、AI の過去と現在と完全に矛盾しており、将来においてこの状況が変わる理由は何もありません。

AGI の一つの定義は、経済的に価値のある仕事のほとんどにおいて人間を上回る AI システムである。この意味での AGI が実現された場合、大規模かつ突然の雇用喪失を招くかもしれないと懸念する人もいるだろう。しかし、人間は動く標的である。普及プロセスが進み、自動化されたタスクの生産コスト（ひいてはその価値）が低下するにつれ、人間は未だ自動化されていないタスクへと適応し移行していくことになる。技術進歩、製品開発、そして普及のプロセスは継続される。

AGI は世界秩序に急速な変化をもたらさない

米国と中国は、それぞれ AGI の構築を競う AI 軍拡競争にあるとよく説明される。最初にそれを構築した国が決定的な戦略的優位性を獲得し、将来にわたる世界秩序における支配的地位を確立するという仮説がある。

この物語は理にかなっていない。AI モデルを作成するために必要な知識や、モデル自体の能力は、国境を越えて急速に普及する傾向があるからだ。何十万もの AI 技術者が存在し、彼らは政府研究所ではなく民間部門で働いているため、そのような規模で秘密を維持することは現実的ではない。

発明—この場合は AI モデルの開発—が競争優位性の源泉として過大評価されている。技術的な進展は国境を越えておおよそ同等のペースで進むと予想すべきである。現在、米国の企業が最前線に立っているとしても、永続的な優位性を期待すべきではない。

多くの人は、技術的能力の普及の容易さを理解しておらず、おそらく核兵器に関する思考モデルの影響を受けているため、そのスピードに驚かされています。これが今年初めに起きた「DeepSeek モーメント」の原因であり、アナリストたちは AI 能力がどれほど急速に普及するかを認識しておらず、結果として新興企業（特に中国からの）がこれほど短期間で追いつくことを予想していなかったのです。

一部の人は、数ヶ月の優位性さえも決定的になると主張しています。しかし、私たちは同意しません。大国間の競争という文脈において重要な問いは、どの国が AGI を最初に構築するかではなく、むしろどの国が普及をより効果的に可能にするかです。ジェフリー・ディン（Jeffrey Ding）の研究が示すように、国内または国際的な AI の発明やイノベーションを実際に活用して生産性を向上させる企業や政府の有効性は、汎用技術の経済的影響を決定する上ではるかに重要です。

中国の AI 企業は、AI モデルと能力の点では米国の主要企業より最大で 6〜12 ヶ月遅れですが、普及を可能にするいくつかの重要な指標においては米国に大きく後れをとっています。具体的には、デジタル化（Digitization）、クラウドコンピューティングの導入率、および労働者の訓練です。これらすべては、産業全体に AI の進歩を生産的に普及させるために必要不可欠な要素です。これが米国の競争優位性の実際の源泉なのです。

もちろん、これは今後数年間で変化する可能性があります。しかしもし変化するのであれば、それは AGI の開発ではなく、普及を促進する政策変更の結果として生じるでしょう。また、いかに迅速に政策を変更したとしても、国々が一夜にして達成できるようなことではありません。普及は通常数十年をかけて進行します。

これらはすべて、政策決定者が油断すべきだという意味ではありません。しかし、AGI に固執するのではなく、既存の AI を含む生産的で安全な普及を可能にすることに焦点を当てるべきだということです。

AGI の長期的な経済的影響は不確実です

直ちに経済的な影響を持たなくても、AGI が例えば年間 10% の GDP 成長率をもたらす可能性があり、それが数十年かけて大きな成果に積み上がることはないでしょうか？

そうなるかもしれません。しかし、なぜそしてどのようにそれが起こるのかについては、まだ全く明確ではありません。

歴史的に見て、このような成長の加速は非常に稀な出来事です。産業革命にはそのような効果がありましたが、インターネットは GDP にほとんど影響を与えませんでした。GDP が測るべき適切な指標ではないと考えている場合でも、GDP 成長率の質的な変化は、あなたが関心を持つ経済における根本的な変化の良い代理指標となります。

問題は、成長を加速させるためには進歩へのボトルネックを排除する必要があることです。これは多くの AI 推進者が想定しているよりも困難です。AI はセクター間で不均一な影響を与える可能性が高く、長期的な成長は最も弱いセクターによってボトルネックに陥るでしょう。

劇的な影響を主張する人々は、実際ボトルネックとなっているものが何かについて誤った心的モデルを持っていることが多い。例えば、安価な科学技術革新が進展の鍵を解くと思いたくなるが、新たな知見を生産することは実際には科学におけるボトルネックではない。

より広く言えば、進展は技術だけでなく、適切な先行条件—補完的な革新や文化的・経済的・政治的要因—にも依存する。産業革命を起こすのに蒸気機関の発明だけで十分だったなら、ローマ帝国がそれを実現しただろう。

現在の法律、規範、制度、政治は、技術的潜在能力がはるかに少なかった時代に形成されたものである。すでに、より多くの公共インフラを建設するような単純なタイプの成長に対する機会を窒息させている。広範な認知自動化がもたらす可能性のある経済的利益を実感するためには、必要となる構造的変化の規模は想像を絶するほど大きい。

結論として、AGI からの長期的影響の範囲と性質はまだ明らかではなく、私たちが取る補完的な行動に依存する。長期的含意は AGI そのものの属性ではない。

AGI のミスマッチリスクは権力と能力を混同している

一方で、AGI は AI の社会的リスクにおける転換点となる可能性がある。制御不能な状態を引き起こし、大規模な社会的損害をもたらすか、あるいは人類の絶滅に至るのか？

AGI のリスクに関する議論では、環境を変更する能力である「パワー」と、指定されたタスクを正しく解決する容量である「キャパビリティ」が混同されがちです。キャパビリティは AI システムの内在的な性質ですが、パワーは AI システムが動作する環境をどのように設計するかという問題であり、人間はこの設計に対して主体性を持っています。この区別はしばしば見落とされています。

ダリオ・アモダイ（Dario Amodei）による「強力な AI」の定義5 を考えてみましょう。彼はまず、強力な AI のキャパビリティについて記述します。例えば、「未解決の数学的定理を証明する」「極めて優れた小説を書く」「ゼロから困難なコードベースを作成する」といった能力です。この基準は AI のキャパビリティの一例であり、AI システムのレベルで議論することができます。

しかし、彼はその後、AI システムに動作を許可する環境の性質について記述に移ります。そこには「インターネット上で行動を起こす」「人間に対して指示を出したり受けたりする」「資材を発注する」「実験を指揮する」「動画を見る」「動画を作成する」などが含まれます。これは AI システムに付与されるパワーの一例です。これは AI システムが動作する環境に依存しており、その環境がどのようにして AI のキャパビリティをパワーへと変換するかを決定します。

私たちは、AI の能力が継続して向上していくことを期待しています。しかし、能力レベルに関わらず、AI が人間の監督なしに自律的に動作する権限や自律性を与えられないよう、AI を単なるツールとして維持することを選択できます。「AI を通常の技術として」というエッセイでは、企業間の軍拡競争、権力追求、超人的な説得力、欺瞞的整合性など、この主張に対する一般的な反論すべてに対処しています。

論文では、適切な監督なしに AI を導入することに対して強力なビジネス上のインセンティブが働くと主張しており、必要に応じてこれらのインセンティブを規制によって補強すべきであると述べています。これは歴史的に、自動運転車から AI アシスタントに至るまで、さまざまな分野で事実として存在してきました。私たちは、AI の能力がある任意の閾値点（AGI と呼ばれる）に達した瞬間にこの傾向が突然逆転すると考えていません。

AGI は近未来の超知能を意味しない

AGI をマイルストーンとみなすもう一つの理由は、AGI が構築された直後に AI システムが再帰的に自己改善し、AGI が将来のモデルバージョンを訓練してはるかに能力の高いものへと進化させ、「知性の爆発」を引き起こすという見方です。その後まもなく、あらゆる conceivable なタスクにおいて人間の能力を遥かに超える超知能 AI（AI システム）が出現し、その結果、超知能 AI が人間の利益とどの程度「整合性」を持っているかによって、ユートピアあるいはディストピアのどちらかが到来すると考えられています。

通常の技術的視点では、この物語を疑う大きな理由が二つあります。第一に、AI 手法における任意の速度向上が可能であっても、イノベーションと普及は人間のスピードで起こると考えており、これは以下の表に要約されています。

他の汎用技術と同様に、AI の影響は手法や能力が向上した時点ではなく、その改善がアプリケーションに翻訳され、経済の生産部門を通じて普及したときに実現されます。[Source]

第二に、AI が AI 研究の実施を支援するという事実は、このプロセスが任意に加速できることを意味しません。すでに今日、AI は AI 研究の相当部分を自動化するために使用されています。しかし、AI 手法における進展には多くのボトルネックが存在します。例えば、特定の能力を実現するために必要となるデータ収集や現実世界との相互作用といった社会的性質、計算リソースとコストの限界、あるいは真のブレークスルーを可能にするアイデアを見捨てて、人気のある直感的なアイデアに群がる現象などが挙げられます。

私たちはこの点について誤っている可能性があり、再帰的自己改善が可能であれば、AI 手法の進展における無制限な加速をもたらす可能性があります。これにはいくつかの興味深い含意があり、広範な普及が遅いとしても、影響の不連続性を含むかもしれません。これらの理由から、再帰的自己改善に対する早期警戒システムを持つことは重要です。しかし、これは AGI の定義には含まれていません。私たちは再帰的自己改善から遠く離れた状態でも AGI を持っている可能性があり、その逆もまた然りです。

AGI が構築された時期はわからない

AGI や関連概念には無数の定義がありますが、Jasmine Sun は 20 以上の定義を有用にまとめたものを持っています。しかし、それらは大きく分けて三つのカテゴリに分類されます：世界に対するシステムの影響力に基づくもの、内部構造に基づくもの、あるいは制御された環境における振る舞いに基づくものです。私たちは、各スタイルの定義には致命的な欠陥があることを示します。それは、私たちが理想的に求める基準と比較して、いずれも厳しすぎるか、または緩すぎる基準をもたらすのです。

これらのギャップを理解することは、なぜ人々が AGI がどのようなものになるかについて異なる直感を持っているのか、そして「見た瞬間にはわかる」という基準が失敗し、今後も失敗し続けるのかを示しています。

OpenAI の 2018 年における AGI（汎用人工知能）の定義は、「経済的に価値のある仕事の大部分において人間を上回る、極めて自律的なシステム」でした。私たちが AI の影響に関心を持っているという観点からすれば、この定義は非常に有用である可能性があります。もし AI が経済的に価値のある仕事の大部分においてすべての人間を上回るのであれば、その影響力は疑いの余地がないでしょう。

しかし、はっきりさせておきましょう — これは AI システム自体の性質ではありません。これは世界の状態が持つ性質です。少なくともそれは、私たちが行う補完的なイノベーションや、AI を組織や制度にどの程度統合するかという点にも深く関わっています。実験室で AI システムを孤立してテストし、それが職場において人間を上回るかどうかを問うのは、あり得ないことです。