人々は自動化を渇望していない
The Vergeのポッドキャスト「Decoder」は、AI技術の普及に伴う社会心理的抵抗、「自動化への渇望」の欠如という概念を提起し、技術最適主義と人間の実際の欲求との乖離について考察している。
キーポイント
「ソフトウェア脳」概念の提示
著者は、現代の世界観をすべてアルゴリズム、データベース、ループに当てはめて理解しようとする思考様式を「ソフトウェア脳」と定義し、この視点が広がりつつあると指摘する。
自動化への社会的不安
記事のタイトル「THE PEOPLE DO NOT YEARN FOR AUTOMATION」は、技術進歩が必ずしも人々の生活向上や自動化への憧れにつながっていないという社会の現実を反映している。
AI報道における対話の重要性
単なる技術報告ではなく、AIに関する報道と対話を通じて、技術が人々の生活にどう受け入れられているかという文脈を重視する姿勢が示されている。
影響分析・編集コメントを表示
影響分析
この記事は、AI技術の導入が単なる効率化や自動化として完結するものではなく、社会の心理的抵抗や「自動化への渇望」の有無といった人間側の要因に大きく依存することを示唆しています。技術開発者や政策立案者に対し、アルゴリズム中心の視点だけでなく、人々の実際の価値観や不安に耳を傾ける必要性を警告しています。
編集コメント
技術的可能性と社会の受容度のギャップを指摘する重要な視点であり、AI導入における「人間中心設計」の重要性を再確認させる内容です。
今日の『Decoder』では、AIについて報じる過程でこの番組で行ってきた会話を通じて数週間頭を巡り続けてきた一つの考え方を提示したい。私はこれを「ソフトウェア・ブレイン」と呼んでいるが、これは世界をアルゴリズム、データベース、ループ、つまりソフトウェアという枠組みにすべて当てはめる特有の見方である。
ソフトウェア・ブレインは強力な概念だ。それは現代世界をほぼ作り出した思考様式である。ソフトウェア・ブレインそのものを体現するマーク・アンドリーセンは、2011年に『ウォール・ストリート・ジャーナル』のオピニオン欄で「Why software is eating the world」と題した記事を書き、この考え方を名付けた。しかし、ソフトウェア的思考はAIによって加速度的に強化されており、それがテクノロジー業界がその技術に抱く興奮と、時間とともに一般の人々がそれを嫌うようになっている大きなギャップを説明する助けになると考えている。
実際、この問題に関する世論調査の結果は非常に強力であり、多くの人が AI を「嫌っている」と言っても過言ではないと考えられます。さらに、AI に接するにつれて、特に Z 世代が AI を嫌う傾向が強まっています（Gen Z in particular seems to hate AI）。NBC News の世論調査では、AI の好感度が ICE（米国税関・国境警備局）よりも低いことが示されており（showing AI with worse favorability than ICE）、イランでの戦争や民主党全体よりもわずかに上回る程度です。これは、回答者の約 3 分の 2 が過去 1 か月以内に ChatGPT や Copilot を使用したという結果と併せて見ると、なおさら顕著です。クイニピエック大学の調査では、アメリカ人の過半数が AI は善よりも悪をもたらすと考えることが判明し（over half of Americans think AI will do more harm than good）、80% 以上の人々がこの技術について「非常に懸念している」または「やや懸念している」と回答しました。それに興奮している人はわずか 35% でした。
世論調査は繰り返し、Z 世代が AI を最も多く使用している一方で、それに対して最も否定的な感情を持っていることを示しています。最近のギャラップ調査では（recent Gallup poll）、Z 世代のわずか 18% が AI に希望を持っていることがわかり、昨年すでに悪かった 27% からさらに低下しました。同時に、怒りの感情は高まっており、Z 世代の回答者の 31% が AI について怒りを感じていると答え、昨年（22%）から増加しています。
さて、私はここで『Decoder』において多くのテクノロジー企業経営者や政策担当者と話をしていますが、彼らは皆、AIが人気がないことを知っており、それが現実社会でどのように展開しているかを誰しもが見ています。マイクロソフトCEOのサティア・ナデラは、AIへの投資について業界がどのように主張すべきかについて語っています。その理由を示す必要があります。
*サティア・ナデラ:* 結局のところ、私が属するこの業界は、社会がエネルギーを消費することを許可する社会的許可を得る必要があります。なぜなら、私たちは世界にとって良いことをしているからです。
テクノロジー業界とAIがまだそのような社会的許可を何も得ていないと言っても安全でしょう。与野党を問わず政治家たちはデータセンターの建設に反対しています。データセンターの建設を支持する地域住民を持つ政治家は選挙で落選しています。そして、アメリカの日常生活に政治的暴力がどれほど深く根付いているかを示す最も悲しい例として、データセンターを支持した政治家の自宅に銃撃事件が発生しました。OpenAIのCEOであるサム・アルトマン氏にはモロトフカクテルが投げ込まれました。
番組でこれをまた言わなければならないのは悲しいことだし、それに反対するコメントを書く人がいるのも悲しいことですが、この暴力は許容できません。もしあなたが持続可能な形で AI に本格的に反対したいのであれば、市場での消費行動とインターネット上の注目を声高に示し、投票という形で意思表示すべきです。民主的な規制や政治プロセスに参加することが重要です。それ以外の手段は却下され、そのサイクルが永続化するだけです。すでにその却下が起きているのです。
また、政治家やテクノロジー企業の経営者が、人々が無力感ではなく力強さを感じられるような政治プロセスを構築することが極めて重要だと考えています。彼らはすべて、特定の種類のニヒリズム（虚無主義）に大きく貢献してきました。暴力はその無力感とニヒリズムの結果であり、社会で最も権力のある人々はそれと向き合うべきです。特に彼らが「AI がすべての仕事を奪う」と言いながら歩き回っている現状において、その責任は重いものです。私が誇張しているわけではありません。Anthropic の CEO であるダリオ・アモデイ氏が AI はすべての仕事を奪うと考えていると語っている記事があります。
ダリオ・アモデイ： 金融、コンサルティング、テクノロジーといった分野やその他の多くの領域における初級職——つまり初級のホワイトカラー業務——について懸念しています。これらはまずAIシステムによって補完されるでしょうが、やがては置き換えられることになるはずです。未来を予測するのは難しいですが、こうした初期段階のホワイトカラー業務へのパイプラインが縮小し枯渇していくにつれて、深刻な雇用危機に直面することになるかもしれません。
このようなクリップを目にする際に私が感じるのは、AIに関する限りテクノロジー業界と一般市民との間に存在する真の隔たり——ソフトウェアという「脳」の限界です。前述した通り、テクノロジー業界の関係者全員が一般の人々がAIをどれほど嫌っているか理解しています。彼らが欠落しているのは、その*理由*です。彼らはこれを単なる*マーケティング*の問題だと考えています。OpenAIは、この取り組みが人々のAIへの好感度を高めるのに役立つと見込んで、TBPNポッドキャストに2億ドルを投じました。サム・アルトマンはこれを明確に述べています：
サム・アルトマン： ああ、彼らは天才的なマーケターであり、私もより良いマーケティングを持ちたいと思っています。最近ある人が私に、「もしAIが政治候補者だったら、歴史上最も人気のない候補者になるだろう」と言いました。AIが成し得る驚くべき成果を考慮すれば、AIのためのより良いマーケティングが必要なのは明らかです。
誰かがはっきりと言わなければならないような気分なので、私はそうするつもりです。AIにはマーケティングの問題はありません。人々はこれらのツールを毎日体験しています！ChatGPTは週9億人のユーザーを抱え、10億人に近づいており、誰もがGoogle検索のAIオーバビューやフィードに溢れる大量の低品質コンテンツを見ています。
自分の経験に対して反応する人々を広告で説得することはできません。これは、ソフトウェア的思考を持つテック業界の人々が世界を見ている方法と、一般の人々が生活を送っている方法との間の根本的な乖離です。
画像：The Verge
では、ソフトウェア的思考とは何か？私が思いついた最もシンプルな定義は、世界全体をソフトウェアコードの構造化言語で制御できる一連のデータベースとして見る状態です。前述した通り、これは強力な見方です。私たちの生活の多くはデータベースを通じて運営されており、重要な企業の多くがこれらのデータベースを維持し、それへのアクセスを提供することを中心に構築されています。
Zillowは家のデータベースです。Uberは車と乗客のデータベースです。YouTubeは動画のデータベースです。*The Verge*のウェブサイトは記事のデータベースです。このリストは延々と続きます。一度世界を無数のデータベースとして見るようになると、データを制御できればすべてを制御できるという感覚に陥るのは容易なことです。
しかし、それが常に機能するわけではありません。以下に例を挙げます：エロン・マスクと DOGE（政府効率化部門）が政府に介入し、彼らが最初にやったことは一連のデータベースを支配することでした。そして彼らは、データベースは現実そのものではないという否定しようのない事実に行き当たりました。結果として DOGE は笑えるような失敗に終わりました。ソフトウェアの脳（システム）には限界があることが判明しました。政府はソフトウェアではないのです。人々はコンピュータではなく、データベースにきれいに収められるような自動化されたループの中で生きているわけではありません。
実際にデータベースを運用したことがある人なら誰でもこれを知っています。ある時点で、データベースは現実と一致しなくなります。その際、私たちは通常、世界ではなくデータベースを調整することになります。しかし AI 業界はこれを完全に失念しています。なぜなら、AI はデータから繁栄するからです。結局のところ、それは単なるソフトウェアなのですから。その結果、私たちが世界に合わせていくのではなく、私たちの生活がデータベースに合わせて調整されていくよう求められているのです。
AIがビジネスツールとして現実的な適合性を獲得するにつれて、私が常に考えているもう一つの例を挙げてみましょう。それは、「AIが弁護士や法制度に取って代わる」という考え方です。AI業界は、もはや弁護士が必要なくなるという話を好んで行いますが、すでにそのせいで様々な人々がさまざまなトラブルに巻き込まれています。しかし、その気持ちは分かります。私は弁護士と多くの時間を過ごしてきました。私もかつては弁護士でしたし、妻は今も弁護士です。私の親友の何人かは弁護士です。
*Verge*の購読者の方は、ポッドキャストを聴くことができるあらゆるプラットフォームで、広告なしの*Decoder*に限定アクセスできることを忘れないでください。こちらからアクセスしてください。購読者ではない方は、こちらから登録できます。
また、職場では常にテクノロジー関係者と話をしています。その過程で、ソフトウェア的思考（software brain）と法律家的思考（lawyer brain）の間に非常に深く、そして魅力的な共通点があることを学んできました。ソフトウェア的思考の中核が、「構造化されたコードの言語で思考することで現実世界で何かを実現できる」というアイデアにあるなら、法律家的思考の中核は、「構造化された法令や引用の法的言語で思考することでも現実世界で何かを実現できる」というアイデアにあります。ひどい話ですが、それは社会に対する権力さえも手に入れることができるのです。
他にも共通点があります。ソフトウェア開発と法律は、どちらも先例に大きく依存しています。この国には判例法の体系があり、私たちはそれを繰り返し使用して紛争を解決します。これは、ソフトウェアエンジニアが製品の基盤を構築するために何度も参照するコードライブラリを持っていることと似ています。この類似性は深遠なものです：最終的に、弁護士もエンジニアもどちらも、複雑なシステムの振る舞いを予測可能かつ潜在的に利益のある方法で導くために、形式的で構造化された言語を最大限に活用しようと努めています。
（ちなみに、このアイデアを持つのは私だけではありません。ラリー・レッシグは2000年に『サイバー空間のコードとその他の法律』という本を書いています。それは25年前と同じくらい、今日でも関連性が高いものです。）
法律とコードのこの魅力的な類似性は、人々を常に混乱させます。人々は、社会全体に対してコンピュータが指示に従うかのように命令を下そうと常に試みています。この例は大小さまざまありますが、私が好きなものは、マーク・ザッカーバーグに人々の写真を公開する権利がないと主張する【Facebookのフォワード】です。正直に言って、これらを見ると、法律が実際にコードであれば素晴らしいのにと思います。もしかしたら、もっと予測可能になるかもしれません。もしかしたら、私たちはよりコントロールされていると感じるかもしれません。
しかし、法律は実際にはコードではなく、社会や裁判所もコンピュータではありません。『Decoder』や『The Verge』の比較的技術的な読者に対して、私は常に法律が決定論的ではないことを強調せねばなりません。事実関係と成文法を組み合わせれば、その事件の結果を実質的な確実性を持って予測できるかのように思えるかもしれませんが、法制度の形式美が人々をコンピュータのような予測可能なシステムだと誤解させるだけです。
しかし、究極的に私たちの法制度の核心にあるのは「曖昧さ」です。弁護士を弁護士たらしめているのも、この曖昧さです。正直に言えば、人々が弁護士を嫌う理由もこれです。常に反対側の主張が可能であり、法律のグレーゾーンを見つけることも可能だからです。これが、検察官が最終的に弁護人として活動し、規制当局者が大企業で働く傾向がある理由です。
ここでソフトウェアの思考と弁護士の思考の明白な衝突が見て取れます。これはコンピュータのように「見える」ものですが、実際にはコンピュータとは何の関係もありません。多くの人が、法制度はむしろコンピュータのようにあるべきだと主張します。つまり、検証可能で整合性があり、適切なタイミングで正しいコマンドを発行すれば客観的に正しい結果が導かれるべきだ、という考え方です。
ミシガン州最高裁判所の元首席判事であるブリジット・マッカーマックは、数ヶ月前に『Decoder』というポッドキャストで、完全自動化されたAI仲裁システムの提案を行っていました。彼女が私に語った主張は、人々は従来の司法システムを極めて不公平だと認識しており、自分が聴かれていると感じれば、自動化されたシステムからの結果が悪くとも、それをより公平なものとして受け入れるだろうというものでした。そしてAIにできることのひとつは、一日中、夜通しそこに座って聴き続けることです。
それが正しいのか、あるいは実際に機能するものなのかは私には分かりませんが、ソフトウェアの論理（software brain）については知っています。そしてそれは純粋なソフトウェアの論理です。つまり、現実世界をコンピュータのように振る舞うように強制し、その後AIがそのコンピュータの命令を発行するというアイデアです。
同じことが他のあらゆる業界でも起こっているのが分かります。実際にビジネスを訪問して調査し、効率化を図るために大規模なコンサルティングファームを雇うわけではありません。彼らを雇うのは、取締役会や株主に対して解雇を正当化するスライド資料を作成するためです。大規模なコンサルティングファームはこの点に長けており、今や彼らはAIを使ってそれらの資料を生成するようになっています。すでにこれを行っており、解雇は既に始まっています。
反復的な方法でコードがデータベースと通信しているように見えるあらゆるビジネスプロセスは、対象となります。それがAnthropicが企業顧客に徹底的に焦点を当ててきた理由であり、OpenAIが現在ビジネス用途へシフトしている理由です。現代のビジネスの多くはすでにソフトウェア化されており、データを収集し、分析し、その結果に基づいて行動を起こすというループを繰り返しているため、AIをビジネスに導入することには真の価値があります。また、企業はデータを管理しており、すべてのデータベースが連携して動作することを要求することができます。
このように、「ソフトウェアの脳」は長年にわたりビジネス世界を支配してきました。AIは、これまで以上に多くの人々が、これまで以上に多くのソフトウェアを作成することを容易にし、あらゆる種類のビジネスが自身の大きな部分をソフトウェアで自動化できるようにしました。それは至るところに存在します：広告とマーケティングの最前線は、AIによる自動化です。それは創造性を持つことではありません。
しかし：すべてがビジネスというわけではありません。すべてがループというわけではありません！人間の経験全体をデータベースに収めることはできません。*それこそ*が「ソフトウェアの脳」の限界です。それが人々がAIを嫌う理由です。それは人々を*平坦化*してしまうからです。
一般の人々は、コードを書くことを「機会」として捉えていません。人々は自動化を渇望していません。私はスマートホームの熱狂的な愛好家です。私の家の照明、ブラインド、空調システムは数十もの方法で自動化されています。しかし、Apple、Google、Amazon といった巨大企業は過去10年以上にわたり、一般の人々にスマートホーム自動化に関心を持ってもらうことに苦戦しています。そして結局、人々は関心を示しません。
AI がこの状況を解決するわけではありません。大多数の人々は、自分が行うすべての行為に関するデータを収集していません。仮に何らかのデータを収集しているとしても、それは複数の異なるシステムに分散して保存されています。例えば、Gmail 内のメール、iMessage 内のメッセージ、Outlook 内の勤務スケジュール、Peloton 内の運動記録などです。これらのシステムは互いに連携しておらず、おそらく今後も連携しないでしょう。なぜなら、連携する理由がないからです。人々にこれらすべてのシステムを接続させるよう求めることは、彼らを恐怖させます。
データベースにあなたの人生のどの部分が記録されているかを考える時間を持つことさえ、人々を不幸にする。誰も常に監視されることを望んでおらず、特にテクノロジー企業をさらに強力にするような方法で監視されることを望んでいない。しかし、ソフトウェアが認識できるようにすべての情報をデータベースに収めることは、AI業界の関心事である。それが現在、すべての会議システムにAIノートテーカーが組み込まれている理由だ。デザインソフトウェアであるCanvaが企業用メールシステムに接続するようになったのもその理由だ。私の友人であるエズラ・クラインはシリコンバレーを訪れ、自らをデータベースに平坦化しようとする人々についてこう述べている：
エズラ・クライン： シリコンバレーのAI関係者は、資金に余裕があり今や世界の頂点にいると思うかもしれない。しかし、彼らは著しく不安を抱いているように見えた。彼らにとってAI時代は到来しており、勝者と敗者は採用の速度によって部分的に決定されると考えている。議論は単純だ：AIアシスタントやコーダーの軍隊の上に作業する利点は時間とともに複合的に増加し、そのプロセスを今始めることは、後で競合他社よりもはるかに先を行くことを意味する。そのため、彼らは自らの生活や企業にAIを完全に統合しようと競い合っている。しかし、それは単にAIを使用することだけを意味するわけではない。それは、自らをAIにとって「可読可能（legible）」な状態にすることをも意味する。
それは、あなたのファイル、メール、カレンダー、メッセージなど、利用可能なすべてのデータにアクセスできます。バックグラウンドで継続的に動作し、あなたの好みや行動パターンに関する永続的な記憶を構築することで、あなたに代わってより適切に行動できるようになります。サイバーセキュリティ上のリスクは明白ですが、数百万人がこれを使用している理由があります。あなたの人生のより多くの部分を AI に開くほど、AI の価値は高まるのです。
過去 15 年間、私は多くのテクノロジー製品をレビューしてきましたが、人々にコンピュータに適合するよう求めるものはすべて失敗だと断言できます。コンピュータは人間に適応すべきです。ソフトウェアに対して人間をより可視化し、データベース化するよう求めるのは、破滅的なアイデアです。
この要求はあまりにも大きいため、テクノロジー業界が AI によってすべての仕事がなくなる、社会契約の根本的な見直しが必要になる、そしてああっ、最新のモデルは世界の終末につながるかもしれない壊滅的なサイバーセキュリティ問題を引き起こす可能性があると絶えず語っているにもかかわらず、誰にとってもその見合う報酬が何であるか想像できません。
これはあなたにとって*魅力的な*取引に聞こえますか？この状況を*マーケティング*で乗り切れますか？これは、ソフトウェア的な思考を持つ人にしか意味を持ちません。つまり、構造化された言語で制御できるデータベースにすべての情報を扁平化するという運用フレームワークを持っている人々にとってのみです。月に数千ドルを支払ってOpenClawエージェントの群れをセットアップし、何千行ものコードを書く人々は、世界を見て自動化の可能性、タスクの繰り返し、データ収集を見つけます。それらは*ソフトウェアを構築する*人々です。彼らにとってAIは素晴らしいものです。それは、私たちがコンピュータとの関係を永遠に変える可能性のある重要な方法でさえも、興奮をもたらします。
他のすべての人々にとって、AIはただの要求の多いスロップモンスターです。それは*脅威*です。私は、一般の人々が結婚式の計画にExcelやAirtableを使ったり、PowerPointパーティーで楽しんだりすることに問題があるとは言っていません。また、時間とともにAIが一般の人々にとって有用になる可能性もないとは言いません。多くの人がデータや生活のさまざまな部分を追跡することに楽しさを見出していると思います。この文章を書いている間、私はWhoopバンドを着用しています。ただ、それらが*すべて*ではないと言っているだけです。私たちの生活のすべての側面を測定し、自動化し、最適化する必要はありません。そして、そうあるべきではありません。
つまり、テクノロジー業界は膨大なコスト——エネルギー、排出量、製造能力、RAMの購入能力など——をかけてAIをあらゆる場所に導入しようと急いでおり、ソフトウェア脳という狭い枠組みに縛り付けられていることに気づかずに、同時に人々を根本的に「人間らしくない」存在にすることを求めているのです。そしてその後、なぜ皆から嫌われているのかと不思議がって座り込んでいるのです。
私は、髪を数回切り直すだけでは問題は解決しないと思います。
*このエピソードに関するご質問やコメントは、decoder@theverge.com までお気軽にお寄せください。実際にすべてのメールを読みます！*
Decoder with Nilay Patel
*The Verge*からのポッドキャスト。大きなアイデアやその他の問題について語ります。
このストーリーのトピックおよび著者をフォローして、パーソナライズされたホームページフィードで類似の記事を閲覧し、メール更新を受け取ってください。
- Nilay Patel
-
-
-
-
-
原文を表示
Today on *Decoder*, I want to lay out an idea that’s been banging around my head for weeks now as we’ve been reporting on AI and having conversations here on this show. I’ve been calling it software brain, and it’s a particular way of seeing the world that fits everything into algorithms, databases and loops — software.
Software brain is powerful stuff. It’s a way of thinking that basically created our modern world. Marc Andreessen, the literal embodiment of software brain, called it in 2011 when he wrote the piece “Why software is eating the world” as an op-ed in *The Wall Street Journal*. But software thinking has been turbocharged by AI in a way that I think helps explain the enormous gap between how excited the tech industry is about the technology and how regular people are growing to dislike it more and more over time.
In fact, the polling on this is so strong, I think it’s fair to say that a lot of people *hate* AI, and that Gen Z in particular seems to hate AI more and more as they encounter it. There’s that *NBC News* poll showing AI with worse favorability than ICE and only a little bit above the war in Iran and the Democrats generally. That’s with nearly two thirds of respondents saying they used ChatGPT or Copilot in the last month. Quinnipiac just found that over half of Americans think AI will do more harm than good, while more than 80 percent of people were either very concerned or somewhat concerned about the technology. Only 35 percent of people were excited about it.
Poll after poll shows that Gen Z uses AI the most and has the most negative feelings about it. A recent Gallup poll found that only 18 percent of Gen Z was hopeful about AI, down from an already-bad 27 percent last year. At the same time, anger is growing: 31 percent of those Gen Z respondents said they feel angry about AI, up from 22 percent last year.
Now, I obviously talk to a lot of tech executives and policy people here on *Decoder*, and I will tell you, they all know AI isn’t popular, and they can all see how that’s playing out in real life. Here’s Microsoft CEO Satya Nadella talking about how the tech industry needs to make the case for the investments it’s making in AI:
Satya Nadella: At the end of the day, I think this industry, to which I belong, needs to earn the social permission to consume energy because we’re doing good in the world.
I think it’s safe to say that the tech industry and AI have not earned any of that social permission yet. Politicians from both sides of the aisle are opposing data center buildouts. Politicians in local communities that support data centers are getting voted out of office. And in the most depressing reminder of how much political violence has become a part of everyday American life, politicians who’ve supported data centers have had their houses shot at. OpenAI CEO Sam Altman has had Molotov cocktails thrown at his house.
It’s sad that I’m going to have to say this again on the show, and it’s sad that we’re going to have commenters who disagree, but this violence is unacceptable. If you want to meaningfully oppose AI in a way that lasts, you should speak loudly with your dollars in the market and your attention on the internet, and you should speak loudly with your votes. You should participate in the democratic regulatory and political process. Anything else will get dismissed and perpetuate the cycle. That dismissal is already happening.
I also think it’s incredibly important for our politicians and tech executives to make sure our political process makes people feel empowered, not helpless, which is a specific kind of nihilism they have all greatly contributed to. The violence is a result of that helplessness and nihilism, and the most powerful people in our society ought to reckon with that, especially as they run around saying AI will wipe out all the jobs. I’m not even exaggerating about that — here’s Anthropic CEO Dario Amodei saying he thinks AI will wipe out all the jobs:
Dario Amodei: Entry-level jobs in areas like finance, consulting, tech and many other areas like that —- entry-level white-collar work — I worry that those things are going to be first augmented, but before long replaced by AI systems. We may indeed — it’s hard to predict the future — but we may indeed have a serious employment crisis on our hands as the pipeline for this early-stage, white-collar work starts to contract and dry up.
What I see when I encounter clips like this is the true gap between the tech industry and regular people when it comes to AI — the limit of software brain. Like I said, everyone in tech understands how much regular people dislike AI. What I think they’re missing is *why*. They think this is a *marketing* problem. OpenAI just spent $200 million on the TBPN podcast because the company thinks it will help make people like AI more. Sam Altman has said so explicitly:
Sam Altman: Oh, they are genius marketers and I would love to have better marketing. Somebody said to me recently that if AI were a political candidate, it would be the least popular political candidate in history. And given the amazing things AI can do, I think there’s got to be better marketing for AI.
It feels like someone just needs to say this clearly, so I’m just going to do it. AI doesn’t have a marketing problem. People experience these tools every single day! ChatGPT has 900 million weekly users, trending to a billion, and everyone has seen AI Overviews in Google Search and massive amounts of slop on their feeds.
You can’t advertise people out of reacting to their own experiences. This is a fundamental disconnect between how tech people with software brains see the world and how regular people are living their lives.
Image: The Verge
So what is software brain? The simplest definition I’ve come up with is that it’s when you see the whole world as a series of databases that can be controlled with the structured language of software code. Like I said, this is a powerful way of seeing things. So much of our lives run through databases, and a bunch of important companies have been built around maintaining those databases and providing access to them.
Zillow is a database of houses. Uber is a database of cars and riders. YouTube is a database of videos. *The Verge*’s website is a database of stories. You can go on and on and on. Once you start seeing the world as a bunch of databases, it’s a small jump to feeling like you can control everything if you can just control the data.
But that doesn’t always work. Here’s an example: Elon Musk and DOGE showed up in the government, and the first thing they did was take control of a bunch of databases. And they ran into the undeniable fact that the databases aren’t reality, and DOGE ended in hilarious failure. It turns out software brain has a limit — the government isn’t software. People aren’t computers, and they don’t live in automatable loops that can be neatly captured in databases.
Anyone who’s actually ever run a database knows this. At some point, the database stops matching reality. At that point, we usually end up tweaking the database, not the world. But the AI industry has fully lost sight of this, because AI thrives on data. It’s just software, after all. And so the ask is for more and more of us to conform our lives to the database, not the other way around.
Let me offer you another example that I think about all the time, especially as AI finds real fit as a business tool. It’s the idea that AI is coming for lawyers and the legal system. The AI industry loves to talk about not needing lawyers anymore, which is already getting all kinds of people into all kinds of trouble. But I get it. I’ve spent a lot of time with lawyers. I used to be a lawyer. My wife is still a lawyer. Some of my best friends are lawyers.
*Verge* subscribers, don’t forget you get exclusive access to ad-free *Decoder* wherever you get your podcasts. Head here. Not a subscriber? You can sign up here.
I also spend all of my time at work talking to tech people. And so over time, I’ve learned that the overlap between software brain and lawyer brain is very, very deep. Alluringly deep. If the heart of software brain is the idea that thinking in the structured language of code can make things happen in the real world, well, the heart of lawyer brain is that thinking in the structured legal language of statutes and citations can also make things happen. Hell, it can give you power over society.
There are other commonalities. Both software development and the law depend heavily on precedent. We have a body of case law in this country, and we use it over and over again to help us resolve disputes, just like software engineers have libraries of code that they turn to repeatedly to build the foundations of their products. The similarities run deep: at the end of the day, both lawyers and engineers do their best to use formal, structured language to guide the behavior of complicated systems in predictable and potentially profitable ways.
(I am far from the first person with this idea, by the way. Larry Lessig wrote a book called Code and Other Laws of Cyberspace in 2000. It’s just as relevant today as it was a quarter century ago.)
This intoxicating similarity between law and code trips people up all the time. People are constantly trying to issue commands to society at large like it’s a computer that will obey instructions. There are examples of this big and small — my favorite are those Facebook forwards insisting Mark Zuckerberg does not have the right to publish people’s photos. Honestly, I look at these, and I think it would be *great* if the law was actually code. Maybe things would be more predictable. Maybe we’d feel more in control.
But law isn’t actually code, and society and courts aren’t computers. I have to remind our fairly technical audience on *Decoder *and at *The Verge* all the time that the law is not deterministic. You simply cannot take the facts of a case, the law as written, and predict the outcome of that case with any real certainty, even though the formality of the legal system makes people think it works like a computer — that it’s predictable.
But at the end of the day, it’s actually *ambiguity* that’s at the very heart of our legal system. It’s ambiguity that makes lawyers *lawyers*. Honestly, it’s ambiguity that makes people *hate* lawyers because it’s always possible to argue the other side, and it’s always possible to find the gray area in the law. That’s why prosecutors end up working as defense attorneys and why our regulators tend to end up working for big corporations.
You can see the obvious collision between software brain and lawyer brain here. This thing that *looks* like a computer isn’t actually *anything at all* like a computer. A lot of people even argue that the law should be *more* like a computer, that the system should be verifiable and consistent, and that merely issuing the right commands at the right times should lead to objectively correct outcomes.
Bridget McCormack, who used to be the chief justice of the Michigan Supreme Court, was on Decoder a few months ago pitching a fully automated AI arbitration system. Her argument to me was that people perceive the traditional legal system to be so unfair that they will accept a worse outcome from an automated system as more fair as long as they feel heard. And if there’s one thing AI can do, it’s sit there and listen all day and night.
I don’t know if any of that is correct or even workable, but I do know software brain, and that is pure software brain: the idea that we can force the real world to act like a computer and then have AI issue that computer instructions.
You can see the same thing happening in every other kind of industry. You don’t hire a big consulting firm to actually come in and study your business and make it more efficient. You hire them to make slide decks that justify layoffs to your board and shareholders. Big consulting firms are great at this, and now they’re just going to generate those decks with AI. They are already doing this and the layoffs have already begun.
Any business process that looks like code talking to a database in a repetitive way is up for grabs. That’s why Anthropic has been so relentlessly focused on enterprise customers, and it’s why OpenAI is now pivoting to business use. There’s real value in introducing AI to business, because so much of modern business is already software: collecting data, analyzing it, and taking action on it over and over again in a loop. Businesses also control their data, and they can demand that all their databases work together.
In this way, software brain has ruled the business world for a long time. AI has just made it easier than ever for more people to make more software than ever before — for every kind of business to automate big chunks of itself with software. It’s everywhere: the absolute cutting edge of advertising and marketing is automation with AI. It’s not being a creative.
But: not everything is a business. Not everything is a loop! The entire human experience cannot be captured in a database. *That’s* the limit of software brain. That’s why people hate AI. It *flattens* them.
Regular people don’t see the opportunity to write code as an opportunity at *all*. The people do not yearn for automation. I’m a full-on smart home sicko; the lights and shades and climate controls of my house are automated in dozens of ways. But huge companies like Apple, Google and Amazon have struggled for over a decade now to make regular people care about smart home automation at all. And they just don’t.
AI isn’t going to fix that. Most people are not collecting data about every single thing that they do. And if they’re collecting any at all, it’s stored across lots of different systems — your email in Gmail, your messages in iMessage, your work schedule in Outlook, your workouts in Peloton. Those systems don’t talk to each other and maybe they never will, because there’s no reason for them to. Asking people to connect them all freaks them out.
Even taking the time to consider how much of your life is captured in databases makes people unhappy. No one wants to be surveilled constantly, and especially not in a way that makes tech companies even more powerful. But getting everything in a database so software can see it is a preoccupation of the AI industry. It’s why all the meeting systems have AI note takers in them now. It’s why Canva, which is design software, now connects to corporate email systems. My friend Ezra Klein just went to Silicon Valley, and he described the people that are actively trying to flatten themselves into a database:
Ezra Klein: You might think that A.I. types in Silicon Valley, flush with cash, are on top of the world right now. I found them notably insecure. They think the A.I. age has arrived and its winners and losers will be determined, in part, by speed of adoption. The argument is simple enough: The advantages of working atop an army of A.I. assistants and coders will compound over time, and to begin that process now is to launch yourself far ahead of your competition later. And so they are racing one another to fully integrate A.I. into their lives and into their companies. But that doesn’t just mean using A.I. It means making themselves legible to the A.I.You can give it access to everything that’s there: your files, your email, your calendar, your messages. It operates continuously in the background, building a persistent memory of your preferences and patterns so it can better act on your behalf. The cybersecurity risks are glaring, but there’s a reason millions of people are using it: The more of your life you open to A.I., the more valuable the A.I. becomes.
I’ve reviewed a lot of tech products over the past decade and a half, and all I can tell you is that it is a failure when you ask people to adapt to computers. *Computers should adapt to people*. Asking people to make themselves more legible to software — to turn themselves into a database — is a doomed idea.
It’s an ask so big that I can’t imagine a reward that would make it worth it for anyone, even if the tech industry wasn’t constantly talking about how AI will eliminate all the jobs, require a wholesale rethinking of the social contract and — oops — also the latest models might cause catastrophic cybersecurity problems that might lead to the end of the world.
Does this *sound* like a good deal to you? Can you *market* your way out of this? This only makes sense if you have software brain — if your operative framework is to flatten everything into databases that you can control with structured language. The people paying thousands of dollars a month to set up swarms of OpenClaw agents and write thousands of lines of code are people who look at the world and see opportunities for automation, to repeat tasks, to collect data. To *build software*. AI is great for them. It’s even exciting in ways that I think are important and will probably change our relationship to computers forever.
For everyone else, AI is just a demanding slop monster. It’s a *threat*. I’m not saying regular people don’t use Excel or Airtable to plan their weddings or have fun throwing PowerPoint parties, or even that AI won’t be useful to regular people over time. I think a lot of people enjoy data and tracking different parts of their lives. I’m wearing a Whoop band as I write this. I’m just saying these things aren’t *everything*. Not everything about our lives can be measured and automated and optimized, and it shouldn’t be.
And so the tech industry is rushing forward to put AI everywhere at enormous cost — energy, emissions, manufacturing capacity, the ability to buy RAM — and locked into the narrow framework of software brain without realizing they are also asking people to be fundamentally less human. They then sit around wondering why everyone hates them.
I don’t think a couple haircuts are going to fix it.
*Questions or comments about this episode? Hit us up at decoder@theverge.com. We really do read every email!*
Decoder with Nilay Patel
A podcast from *The Verge* about big ideas and other problems.
Follow topics and authors from this story to see more like this in your personalized homepage feed and to receive email updates.
- Nilay Patel
-
-
-
-
-
関連記事
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み