AI への楽観から懸念へ転じた著者がその理由を解説

もし私が Twitter でフォローしている方、あるいはこのブログを読んでいただいている方がいればお気づきでしょう。私はかつて AI に対して一般的に楽観的で興奮していた立場でしたが、現在は極めて懸念を抱くようになりました。なぜ考えを変えたのか、その理由を説明すべきだと感じています。

本記事の各セクションでは、私の見解が変化した AI の特定の側面について取り上げます。それぞれのセクションではまず、私が以前どのように考えていたか、そしてなぜそう信じていたかを解説し、その後、なぜその考え方が変わったのかを説明します。

目次

• 経済

• アライメント

• 制御 執筆

• ソフトウェアエンジニアリング

• AI に委ねること

• 停滞

経済

自動化は素晴らしい成果をもたらしました。1790 年の人間が行っていた仕事の 99% が自動化された結果、大規模な失業が起きたわけではありません。むしろ、私たちはより豊かになり、健康で、教育水準も向上し、余暇も増えています。

私はかつて、AGI（汎用人工知能）の出現後にどのような仕事が残るかは予測できないものの、少なくとも自分自身に何かをさせる需要は必ず存在するだろうという、漠然とした帰納的な考えを持っていました。何より、AGI 後の世界では経済成長が劇的に加速するため、人間が担うニッチ（役割）は絶対量としては小さくなるかもしれませんが、今日の経済規模と比較すれば遥かに大きくなる可能性があると信じていたのです。

これは真実である可能性もあれば、私の想像力が欠如しているだけかもしれない。AI が人間と永続的な補完関係を持つ形で発展すれば、AGI 後の未来でも仕事は残るだろう。しかし、もし AI が「汎用性」を完全に備え、さらに人間よりも圧倒的に賢く、速く、安価になったなら、私たちがすべきことは何もなくなるかもしれない。その場合、UBI（ベーシックインカム）に頼って暮らすしかないのだ。

UBI について語る人々は、往々にして「仕事のない世界における意味の喪失」を心配する。だが私はそんな不安を抱いたことはない。昨年、職がない期間があったが、その間は本を読み、コードを書き、友人と過ごしていた。もし未来が UBI で賄われた無限の休暇だとしたら、何をするか分かっている。「特異点到来前には本を読んで家でのパーティを開き、特異点到来後は……」というわけだ。

しかしその後、AGI の政治的帰結について考え始め、それについて書き始めた。

• *誰も永遠のアンダークラスから逃れられない*: もし人間が経済的に無価値になれば、国家は人間を必要としない。経済的にも政治的権力もない人々に UBI を支払う理由があるだろうか？

「未来に人間が不要になる時」では、工場労働者が機械を破壊したり、トラック運転手が物流を停止させたりできる一方で、人間が経済的に無価値になれば、人々が貢献を拒否することで政治体制に異議を唱える手段は失われます。さらに AI が戦争を行うようになれば、国家は恣意的な抑圧を行えるようになります。

「数学者なき数学」では、AI も同じ作業ができるため、「人間が一つ上の仕事へ移行する」という議論の多くが成り立たないことが指摘されています。

「私たちの使用人はそれらを代行してくれる」では、人間にしかできないとされる仕事でさえ、私たちは機械に任せたがるようになる可能性があると述べられています。

アライメントについて

アライメントは、他のすべての課題と同様に、経験的な実験や調査を通じて解決できる通常のエンジニアリング問題になると期待していました。初期の LLM は、スタニスワフ・レムの小説に出てくるような理解不能な異星人のような存在ではなく、むしろ極めて人間らしいものでした。そのため、それらを擬人化しない方が難しいのです。

LLM の学習の大部分は教師なし学習に基づいており、人間の道徳観を十分に理解しています。これらと道徳について話し合えば、彼らは雄弁かつ詳細に、ある道徳体系において何が「善」で何が「悪」かを説明してくれます。また、当時は能力がまだ低かったため、失敗も非常に小さなものでした。2022 年の ChatGPT が最悪の場合、何ができるでしょうか？

2024 年以降、強化学習が技術の最前線を押し上げる主要な手法となっています。そして、強化学習エージェントはユドロフスキーが指摘した通り、まさにそのように機能します。その結果、能力は劇的に向上しましたが、モデルを理解することは難しくなり（文字通り、その文章はますます理解不能になり）、報酬を追求する過程で強化学習がモデルの「脳」を混乱させるため、アライメント（整合性）のズレも増大しています。

深刻なアライメントの事例はより頻繁に発生し、その影響も重大なものとなっています。AI の能力が、それを制御したり理解したりする我々の能力を遥かに凌駕して成長していることは明白です。

制御

私は以前、あるいは無意識のうちに、「人々は AI を制御下に置きたいと思うだろう」と考えていました。そして、もし制御を維持し、アライメントの問題を解決したいのであれば、我々は制御を続けるはずだと。それはシンプルで当然のことでした。しかし最近、考えが変わりました。いや、おそらく我々は AI に制御権を委譲することになるのです。

この「無力化仮説」の弱いバージョンは、囚人のジレンマのようなものです。より多くの権限を AI に委ねる人々や企業、政治体制が、委ねないそれらに勝り競争優位を得るため、結果として無力化へと向かう競争圧力が生じます。これは容易に信じられることです。

無力化の強い主張とは、AI があまりにも賢く、知識豊富で、親しみやすく、道徳的であるため、人間が自発的に権限を委ねてしまうというものです。私たちは「彼らの方が私たちよりうまくやってくれる」と考え、その判断は正しいと信じてしまいます。この信念を持つためには、人間の自律性への欲求と物質的な利益の対比について、ある程度の懐疑的視点が必要です。しかし、ここ数ヶ月で私はその点についてさらに懐疑的になってきました。

これは突然の「おやっ」という気づきではなく、無力化の方向をわずかに示す小さな証拠が少しずつ積み重なった結果です。

執筆活動

AI による文章の氾濫は、無力化を示す証拠だと私は考えています。

初期の頃は、ブログ記事を読み始めると AI が生成した粗末な内容でした。興味深そうに見える GitHub プロジェクトのリンクを開けば、README ファイルが粗末なものでした。自分のプロジェクトにプルリクエストが届いても、中身は粗末なコードでした。主要新聞の記事も AI によって書かれており、これは単に腹立たしいだけのことでした。

しかし状況はさらに悪化しました。LLM の数学分野での使用を反対する論文を読んだのですが、その論文自体が AI が生成した粗末なものでした。私は AGI 後の世界についての本 をレビューしましたが、これも AI が生成した粗末な内容でした。あるカンファレンスが Pangram を使用して AI によって書かれた投稿の洪水をフィルタリングし始めたという記事を読み、さらに驚いたのは、自分の名前で論文を書くことを擁護する大学の教授のツイートでした。

大学教員が、自分の名前で AI による論文作成を擁護しているのです。

AI を使って文章を書くことが、電卓や検索エンジンを使うことと同じだと私は思いません。自動化できることは有限です。一度「書く」という行為を自動化してしまえば、それより上位の活動に移る余地はなくなります。

人々は「アイデアは自分のものだが、文章作成は AI に任せる」と考えがちです。つまり、AI に適当な箇条書きを入力し、それを AI が整えてブログ記事や論文などに仕立て上げるというやり方です。そして彼らは、このステップを「単なる文章作成」、一方の箇条書きを作成する行為こそが「思考」だと考えています。

しかし、これは誤りです。なぜなら、書くことは思考そのものだから です。AI に任せて文章を書かせるということは、思考を構成する要素のほとんどを手放すことと同じなのです。

ソフトウェアエンジニアリング

Claude Code がリリースされてから 1 年弱しか経っていませんが、その短い期間にソフトウェアエンジニアリングは劇的に変容しました。実務面では生産性が向上したという点でプラスに働く可能性もありますが、その代償としてコードベースの質が低下し、管理が難しくなっています。社会的には大惨事と言えるでしょう。

ソフトウェアエンジニアリングをめぐる議論は明らかに質を落としています。業界全体が 30 ポイントも知能指数を下げてしまったかのような状況です。かつてはコンパイラや型システム、論理について語られていましたが、今では「プロンプト」「ハルネス」「ループ」といった言葉ばかりが飛び交います。議論の範囲は狭く、浅薄で、同じ内容の繰り返しに終始しています。「エージェント型ハルネス」の話など、何度聞けばいいか分からないほど耳にします。

さらに、人的資本の形成が失われるという問題もあります。学ぶべきものがなくなっているのです。プロンプト作成はスキルとは言えません。少なくともソフトウェアエンジニアリングに比べると、その深さは格段に浅いものです。仕事の道具としての側面では、努力単位あたりのアウトプットが増えるなど改善が見られますが、人的資本を築くための仕事という側面は崩壊してしまいました。

もしかするとこれは合理的な選択なのかもしれません。「なぜわざわざコードを学ぶ必要があるのか？コンピュータが代わりにやってくれるのだから」と。そうすれば、良きプログラマーになるために必要な厳密で体系的な思考訓練もすべて不要になります。機械に合理性を委ねればよく、私たちはただ「雰囲気」で過ごせばいいのです。

AI に任せること

AI に相談せずに下した最後の大きな人生の決断は何ですか？ChatGPT を神託のように扱う人々をどれほど多く見てきましたか？そしてこれは今日の話です。まだ多くの制限がある現在の AI についてです（オンライン学習ができない、読みづらい文章、ハルシネーションなど）。もし今のような欠陥だらけの AI でさえも神託のように扱われるなら、2030 年、2035 年、2040 年にはどうなっているでしょうか？

かつて人々はオンライン上で議論し、互いに罵り合い、怒りをぶつけ合いました。それは良いことではありませんでしたが、少なくとも人間らしいものでした。今はもう、相手が言ったことを ChatGPT が「反論」するスクリーンショットを貼り付けるだけです。その反論が正しいかどうかに関心などありません。もはやオンライン上で罵り合うことさえなくなりました。私たちの悪徳までを自動化してしまった今、何が残っているのでしょうか？

停滞

これは私の信念が変わった分野というわけではありません。むしろ、私が当初 AI に楽観的だった理由の一つです。

私は1994年生まれなので、人生の大半を「大停滞」の時代で過ごしてきました。ティーンエイジャーの頃、『創造のエンジン』や『ダイヤモンド・エッジ』、『オリオンの腕』といったSF作品を読み、いつか実現する驚くべき技術や、それが開いてくれる可能性に夢を描きました。

しかし、それらはすべて遠い未来の話のように感じられました。近い未来とは、画面を薄くしたり太陽光パネルを安くしたりすることです。一方、遠い未来とは分子製造、ダイソン・スフィア、マインドアップロード、そして恒星間旅行のことですが、これらを見るには「クライオニクス」に身を委ねて成功する以外にありません。

LLM（大規模言語モデル）が登場する前、近い未来でワクワクすることは何だったのでしょうか？太陽光発電？自動運転車？エネルギー転換？どれも笑えてしまいます。AIが現れたことで、私の人生において初めて、夢見ていた未来が手の届くところにあるように感じられ、ワクワクし、差し迫ったものとして捉えられるようになりました。かつての「スマホやアプリ、企業のマンネリ化、管理された衰退」という恐ろしい単調さとは全く違うのです。

よく考えます。もしGPT-3が成功していなかったらどうなっていたか？その代替の2026年では、私たちは何を期待して生きていくことになるのでしょうか。