Google DeepMindの論文：大規模言語モデルは永遠に意識を持たない
Google DeepMindの研究者が、AIは人間の認知エージェントによる抽象化に依存するだけであり、物理的実装を持たないため意識を具現化できないとする論文を発表し、CEOのAGI推進論と対立する見解を示した。
キーポイント
抽象化の誤謬と意識の欠如
AIは物理法則を有限の状態に整理する「マップメーカー」に依存しており、外部の人間によって意味が定義されるため、それ自体には内在的な意味や意識を持たない。
身体性（Embodiment）の必要性
意識は食事や呼吸といった生存のための物理的作業と結びついており、単なるパターン処理に過ぎないLLMには身体性が欠如しているため、意識の発生は不可能である。
業界ナラティブとの対立
DeepMindのCEOであるDemis Hassabis氏がAGIの急速な到来を強調するのに対し、内部研究者によるこの論文は、メディアが宣伝する自己利益的なナラティブとの乖離を示している。
学術的批評と既存研究の無視
専門家はLerchnerの論文が数十年の研究文献をほとんど引用していないことを指摘し、議論自体は古くから存在するものであると批判している。
AGI実現への実務的制限
AIに意識がないという見解は、AGIの達成や産業革命級のインパクトには限界があることを意味し、自動運転などの高度な自律化にも影響を与える。
Google DeepMindの対応と矛盾
論文は著者の私見である旨の免責事項を添えているが、DeepMindはAGI研究職の採用を進めており、サイトからのブランディング削除後も掲載を続けている。
影響分析・編集コメントを表示
影響分析
この論文は、AI企業の商業的な宣伝（AGIの早期実現）と学術的な現実認識の間に存在する大きなギャップを浮き彫りにしました。業界全体として、意識や知能の定義に関する議論が、単なるスケーリング則から、認知科学や生物学との統合へとシフトする必要性を示唆しています。
編集コメント
DeepMind内部からの反論として、現在のスケーリングアプローチでは意識は生まれないとする主張は、投資家や開発者に対し、技術的限界と倫理的・哲学的な議論の重要性を再考させる重要な示唆を含んでいます。
この論文は、メディアが宣伝するAI企業が推進する自己利益的なナラティブと、厳格な検討の下で崩れ去る現実との隔たりを示している。私が話した他の意識の哲学者や研究者たちは、ラーナーによる「抽象化の誤謬：なぜAIは意識をシミュレートできるのか、インスタンス化できないのか」と題された論文が有力であり、大規模なAI企業の1つからこの議論が出てきたことを喜んでいると語ったが、分野の他の専門家たちは数十年にわたって全く同じ議論を行ってきたとしている。
「彼（ラーナー氏）は自分の考えでこの結論に達し、車輪の再発明を行ったに過ぎません。特に哲学や生物学の分野では文献をほとんど読んでおらず、学識も浅いです」と、進化システム生物学者であり哲学者でもあるヨハネス・ヤーガー氏は私に語った。
ラーナー氏の論文は複雑で専門用語が多用されているが、その主張の核心は、あらゆるAIシステムは最終的に「地図作成者依存」であるという点に集約される。つまり、それは「連続する物理現象を有限の意味ある状態へと整理（アルファベット化）するためには、人間のような能動的で経験を持つ認知エージェントが必要である」ということを意味する。言い換えれば、例えばアフリカで低賃金の労働者たちが画像にラベルを付けてAIの訓練データを作成する際のように、人間がまず世界をAIシステムにとって有用な形で整理・組織化する必要があるのだ。
いわゆる「抽象化の誤謬」とは、私たちがデータをそのような形で整理し、AIが知性ある行動を模倣するように言語、記号、画像を操作できるようにしたからといって、それが実際に意識を獲得できると信じる誤った考え方を指す。しかし、ラーナー氏の主張によれば、物理的な身体を持たなければこれは不可能である。
"人間には他にも多くの動機があります。それは少し複雑ですが、すべてはあなたが食べ、呼吸し、生き続けるために常に物理的な労力を投入しなければならないという事実に由来しており、非生命のシステムはそれを行いません」とヤーガー氏は私に語った。「大規模言語モデル（LLM）はそれを行いません。それはハードドライブ上の単なるパターンの集合に過ぎません。そしてプロンプトが入力されると、タスクが完了するまで実行され、その後終了します。したがって、それ自体に内在的な意味はありません。その意味は、ある人間のエージェントが外部から定義する方法によって生じます。"
人間のような身体的ニーズをプログラムされた具現化AI（embodied AI）を想像することは可能であり、ヤーガー氏はそのようなシステムがなぜ意識に到達できないのかについて語ったが、それはこの記事の範囲を超えています。これらの問いかけには膨大な文献と数十年にわたる研究が存在しますが、ラーナー氏の論文ではそのほとんどが引用されていません。
「私は彼の（ラーナー氏の）言うことの99％に共感しています」と、ゴールドスミズ大学（Goldsmiths, University of London）の認知コンピューティング教授であるマーク・bishop氏は私に語った。「私の唯一の異議点は、これらの議論がすでに何年も前に提示されていたということです。"
ビショップ氏とヤーガー氏の両名は、Googleがレルヒナー氏の論文の公開を許可したことは良いことだが奇妙だと指摘しました。両氏とも、レルヒナー氏が主張し、自身も同意する論点は、一般ユーザーにとって無関係な晦涩な哲学的議論ではないと述べています。しかし、「AIは意識を獲得できない」という主張は、AIが実務的・商業的に達成し得ることには明確な上限があることを意味します。例えば、ジャーガー氏とビショップ氏は、この見解によれば、AGI（人工一般知能）や、DeepMindのハサビスCEOが予測する産業革命の10倍に及ぶ影響は、実現可能性が低いとしています。
「エロン・マスク氏自身も、レベル5の自律走行（自動運転）を実現するには『汎用的な自律性』が必要だと主張しています」とビショップ氏は語りました。これは、AGIを指すマスク氏の用語です。
レルヒナー氏の論文は、感情を持たないAGIの実現が可能であると主張し、「高度に能力の高い人工一般知能（AGI）の開発は、本質的に新たな道徳的対象の創出につながるものではなく、むしろ高度に洗練された非感情的なツールの精緻化をもたらす」と述べています。DeepMindもまた、AGIの到来を前提として積極的に活動しています。例えば、私が昨年報じたところでは、同社は「ポストAGI」時代の研究科学者の採用を行っていました。
ラーナーの論文の下部には、「ここで詳述されている理論的枠組みと証明は、著者自身の研究および結論を表すものであり、必ずしも雇用主の公式見解、意見、または戦略的方針を反映するものではありません」という免責事項が記載されています。この論文は当初3月10日に公開され、現在もGoogle DeepMindのサイト上で紹介されています。philpapers.orgにホストされている論文自体のPDFには、当初Google DeepMindのレターヘッドが含まれていましたが、4月20日にコメント依頼を行った後、Googleのブランディングを削除し、同じ免責事項を論文の上部に移動した新しいPDFに置き換えられたようです。Googleはこのコメント依頼に対して回答しませんでした。
「計算が意識ではないという結論に対し、Googleが楽観的である理由として、多くの金銭的・法的な要因を想像できます」とビショップは私に語った。「もし逆が真であれば、ヨーロッパでは少し前、計算システムに権利を与える法案を欧州議会で通過させようとした変な人々がいたという奇妙な状況になりましたが、それは全くの愚策と思われます。しかし、Googleは人々が自社のシステムを意識的だと考えないことを望んでいるのは間違いありません。それは、米国や世界中のどこにおいても、立法の対象となる可能性が低くなることを意味します。」
ヤーガー氏は、この研究をグーグル・ディープマインドの科学者が発表したことを嬉しく思っていると述べつつ、AI企業はラーナー氏の論文で引用されなかった、あるいは存在自体を知らなかった研究に取り組む研究者たちと対話し、自らを教育することで多くのことを学べるはずだと指摘した。
「AI研究コミュニティは、多くの点で非常に閉鎖的です」とヤガー氏は語った。「例えば、これらの人々は、彼らが日常的に使用する『エージェント性（agency）』や『知能（intelligence）』といった用語の生物学的起源について、ほとんど何も知りません。彼らは本当に恐ろしいほど見識がありません。私はジェフリー・ヒントン氏や、チューリング賞受賞者、ノーベル賞受賞者といったトップレベルの人々について話しています。彼らはこれらの用語の概念的な歴史、AI自身の歴史におけるその起源、そして現在いかに奇妙な形でこれらの用語が使われているかについて、驚くほど無知です。私は、これらに対する関心があまりにも少ないことにいつも驚きます。おそらく、それは非常にプレッシャーの高い環境であり、彼らは読む時間がないまま開発を進めているのでしょう。」
ワシントン大学の言語学教授であり、『The AI Con: How to Fight Big Tech’s Hype and Create the Future We Want』の共著者であるエミリー・ベンダー氏は、私に次のように語った。もしラーナー氏が通常のピアレビュー（peer review：査読）プロセスを経たのであれば、彼は古い研究を再現している、あるいは少なくともそれを引用すべきだと指摘されたはずだ。
「現在、この研究領域で起きていることの多くは、企業ラボから論文のような形状のものが飛び出してくるというものですが、それは適切な科学論文の出版プロセスを経ないままです。」
ベンダー氏はまた、コンピュータサイエンスおよびより広義の人類学について、「もしコンピュータサイエンスが、特にこれらのAGI（人工汎用知能）ラボにおいて、人類の成果の頂点であり他者は単なるドメインエキスパートであるという見方ではなく、同等の学問分野の一つとして自分自身を理解できれば、そのような構造がなければより良い世界になるでしょう」と語った。
原文を表示
The paper shows the divergence between the self-serving narratives AI companies promote in the media and how they collapse under rigorous examination. Other philosophers and researchers of consciousness I talked to said Lerchner’s paper, titled “The Abstraction Fallacy: Why AI Can Simulate But Not Instantiate Consciousness,” is strong and that they’re glad to see the argument come from one of the big AI companies, but that other experts in the field have been making the exact same arguments for decades.
“I think he [Lerchner] arrived at this conclusion on his own and he's reinvented the wheel and he's not well read, especially in philosophical areas and definitely not in biology,” Johannes Jäger, an evolutionary systems biologist and philosopher, told me.
Lerchner’s paper is complicated and filled with jargon, but the argument broadly boils down to the point that any AI system is ultimately “mapmaker-dependent,” meaning it “requires an active, experiencing cognitive agent”—a human—to “alphabetize continuous physics into a finite set of meaningful states.” In other words, it needs a person to first organize the world in way that is useful to the AI system, like, for example, the way armies of low paid workers in Africa label images in order to create training data for AI.
The so-called “abstraction fallacy” is the mistaken belief that because we’ve organized data in such a way that allows AI to manipulate language, symbols, and images in a way that mimics sentient behavior, that it could actually achieve consciousness. But, as Lerchner argues, this would be impossible without a physical body.
“You have many other motivations as a human being. It's a bit more complicated than that, but all of those spring from the fact that you have to eat, breathe, and you have to constantly invest physical work just to stay alive, and no non-living system does that,” Jäger told me. “An LLM doesn't do that. It's just a bunch of patterns on a hard drive. Then it gets prompted and it runs until the task is finished and then it's done. So it doesn't have any intrinsic meaning. Its meaning comes from the way that some human agent externally has defined a meaning.”
One could imagine an embodied AI programmed with human-like physical needs, and Jäger talked about why a system like that couldn’t achieve consciousness as well, but that’s beyond the scope of this article. There are mountains of literature and decades of research that have gone into these questions, and almost none of it is cited in Lerchner’s paper.
“I'm in sympathy with 99 percent of everything that he [Lerchner] says,” Mark Bishop, a professor of cognitive computing at Goldsmiths, University of London, told me. “My only point of contention is that all these arguments have been presented years and years ago.”
Both Bishop and Jäger said that it was good, but odd, that Google allowed Lerchner to publish the paper. Both said the argument Lerchner makes, and that they agree with, is not an obscure philosophical point irrelevant to the average user, but that the claim that AI can’t achieve consciousness means that there’s a hard cap on what AI could accomplish practically and commercially. For example, Jäger and Bishop said AGI, and the impact 10 times the Industrial Revolution that DeepMind CEO Hassabis predicts, is not likely according to this perspective.
“[Elon] Musk himself has argued that to get level five autonomy [in self-driving cars] you need generalized autonomy” which is Musk’s term for AGI, Bishop said.
Lerchner’s paper argues that AGI without sentience is possible, saying that “the development of highly capable Artificial General Intelligence (AGI) does not inherently lead to the creation of a novel moral patient, but rather to the refinement of a highly sophisticated, non-sentient tool.” DeepMind is also actively operating as if AGI is coming. As I reported last year, for example, it was hiring for a “post-AGI” research scientist.
Lerchner’s paper includes a disclaimer at the bottom that says “The theoretical framework and proofs detailed herein represent the author’s own research and conclusions. They do not necessarily reflect the official stance, views, or strategic policies of his employer.” The paper was originally published on March 10 and is still featured on Google DeepMind’s site. The PDF of the paper itself, hosted on philpapers.org, originally included Google DeepMind letterhead, but appears to have been replaced with a new PDF that removes Google’s branding from the paper, and moved the same disclaimer to the top of the paper, after I reached out for comment on April 20. Google did not respond to that request for comment.
“We can imagine many financial and legislative reasons why Google would be sanguine with a conclusion that says computations can't be consciousness,” Bishop told me. “Because if the converse was true, and bizarrely enough here in Europe, we had some nutters who tried to get legislation through the European Parliament to give computational systems rights just a few years ago, which seems to be just utterly stupid. But you can imagine that Google will be quite happy for people to not think their systems are conscious. That means they might be less subject to legislation either in the US or anywhere in the world.”
Jäger said that he’s happy to see a Google DeepMind scientist publish this research, but said that AI companies could learn a lot by talking to the researchers and educating themselves with the work Lerchner failed to cite in his paper, or simply didn’t know existed.
“The AI research community is extremely insular in a lot of ways,” Jager said. “For example, none of these guys know anything about the biological origins of words like ‘agency’ and ‘intelligence’ that they use all the time. They have absolutely frighteningly no clue. And I'm talking about Jeffrey Hinton and top people, Turing Prize winners and Nobel Prize winners that are absolutely marvelously clueless about both the conceptual history of these terms, where they came from in their own history of AI, and that they're used in a very weird way right now. And I'm always very surprised that there is so little interest. I guess it's just a high pressure environment and they go ahead developing things they don't have time to read.”
Emily Bender, a Professor of Linguistics at the University of Washington and co-author of The AI Con: How to Fight Big Tech’s Hype and Create the Future We Want, told me that Lerchner might have been told that he’s replicating old work, or that he should at least cite it, if he had gone through a normal peer-review process.
“Much of what's happening in this research space right now is you get these paper-shaped objects coming out of the corporate labs,” but that go through a proper scientific paper publishing process.
Bender also told me that the field of computer science and humanity more broadly “if computer science could understand itself as one discipline among peers instead of the way that it sees itself, especially in these AGI labs, as the pinnacle of human achievement, and everybody else is just domain experts [...] it would be a better world if we didn't have that setup.”
関連記事
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み