AI が意識を持つなら『エイジ・オブ・エンパイアーズ II』もそうなる
本文の状態
日本語全文を表示中
詳細モードで約11分の本文を読めます。
同じ出来事の情報源
この情報源を基点に整理
404 Media
SF作家のテッド・チャンは、大規模言語モデルに意識があるとする考え方が不合理であることを示すために、『エイジ・オブ・エンパイアーズ II』のようなゲームやマイクロソフトワードにも同様の可能性を認めるべきだと指摘した。
Source Article
元記事を日本語で読む
本文に関係しない購読案内、埋め込み通知、サイト内プロモーションは除いています。
image大規模言語モデル（LLM）が意識を持っているという考えがいかにばかげているかについて書かれた viral エッセイの中で、SF 作家のテッド・チャンはマイクロソフトワードを例に挙げて私たちに問いかけました。
「LLM が意識を持っている可能性を受け入れることは、マイクロソフトワードが意識を持っている可能性、あるいはより正確には、会話記録を含むすべての Word ドキュメントの中に複数の異なる意識が休眠しており、ドキュメントを読み込むたびにそれらが目覚めるという可能性を受け入れることと同じです」とチャンは書きました。「Word ドキュメントを開くたびに、複数の意識ある対話者が存在し始め、閉じるたびにその存在を消し去っているという可能性を考慮すべきでしょうか？いいえ。そのようなシナリオについて考えることは、あなたの時間の無駄遣いにはなりません。」
では、最近、伝説的なマイクロソフトのリアルタイムストラテジーゲーム『Age of Empires II』が意識を持っているかどうかを非常に長い時間考え抜き、その主張を証明するためにデジタルのヤギを用いてビデオゲーム内で基本的なニューラルネットワーク（neural network）を構築したマイクロソフトの AI 研究者についてお話ししましょう。
「LLM が人間のような属性を持つのなら、Age of Empires II もそうである」というタイトルは、Adrian de Wynter 氏の論文のものであり、その作品を示すものです。彼は 404 Media に、不条理さこそが強力な道具になり得ると語りました。「私は本当に何かを主張する必要があると感じた時、11 にまで引き上げる傾向があります」と同氏は述べています。「また、不条理主義は哲学や理論計算機科学においては非常に標準的なアプローチであることも付記しておきます」。
そして De Wynter 氏は、ヤギを用いて AoEII（Age of Empires II）内に LLM（大規模言語モデル）を構築しました。「この論文の目的は、私たちが安易に人間化してしまうことを形式的に示し、LLM の能力に関する我々の主張が時に強すぎることを明らかにすることです」と 404 Media に語りました。「『人間のような属性』という用語がやや抽象的なものであるため、これは容易な課題ではありません」。
AoEII にはシナリオエディタがあり、プレイヤーがゲームのアセットを用いて独自のマップやクエストを創作できるサンドボックスモードです。De Wynter 氏はこれを利用して、ゲーム内に動作する NOT AND（NAND）ゲートと 1 ビットパーセプトロンを構築しました。この LLM の粗末なバージョンでは、草が 0、橋が 1、ヤギがビットを表します。「一度にアクティブになるのはレール一つだけで、ヤギが信号伝達媒体として機能します。ゲートが発火すると、ビットの役割を果たすヤギは取り除かれ（死亡し）、新しいビット・ヤギがそれぞれの出力レールに配置されます」と Wynter 氏は GitHub で説明しています。
パーセプトロンはニューラルネットワークの最も単純な形態であり、入力を二値クラスに分類するアルゴリズムです。YouTube には、プレイヤーがマインクラフトのレッドストーンで同じことを行う動画があふれています。しかし、誰も『エイジ・オブ・エンパイアス II』(Age of Empires II) のヤギを思考する機械のニューロンだと主張したり、プレイヤーがマインクラフトで構築する NAND ゲートの複雑な軌道が創発的知能を示しているとは主張しません。
デ・ウィンターのここでの主張は、『エイジ・オブ・エンパイアス II』において、Claude や ChatGPT、CoPilot およびその他すべての基盤となるニューラルネットワークと同じように機能するものを作成可能だということです。確かに簡略化されたバージョンですが、基本技術は同じです。『エイジ・オブ・エンパイアス II』のヤギに意識の火花が宿っていると見なすことの不合理さに直面したとき、私たちは Anthropic が Claude に「憲法」があり不安を経験すると主張している点を再考するかもしれません。
人間のような特性を探そうとすれば、それらを見つけようとする傾向があります。デ・ウィンターの論点は、『エイジ・オブ・エンパイアス II』の中に、人々が日常的に使用するチャットボットと同じ多くの内部特性を持つ基本的な大規模言語モデル (LLM: Large Language Model) を構築可能だということです。違いはインターフェースにあります。人がチャットウィンドウではなく『エイジ・オブ・エンパイアス II』という媒体を通じて LLM と対話する場合、基盤となる技術が同じであるにもかかわらず、その LLM における人間のような特性の知覚は消え去ります。
彼は『Age of Empires II』が1999年に発売されて以来プレイし続けており、この思考実験に適していると考えた。「『Age of Empires』は要点を明確に伝えるのに優れた手段でした」と彼は語った。「これは表現と解釈の関係を示す例として‘異質’すぎず、かつ十分に有名で、その点を強調するのに適しています。さらにメタレベルでも機能します。なぜなら、この例自体が議論の良い代表となっているからです。」
デ・ウィンター氏によれば、大規模言語モデル（私たちが一般的に人工知能と呼ぶニューラルネットワーク）への人間化の問題は、科学研究が始まる前から始まっているという。彼は過去2年間に発表された315件のコンピュータサイエンス論文をレビューしたが、その57パーセントが「大規模言語モデルには人間のような特性がある」という前提から始まっていたことが判明した。
「これらの研究に共通しているのは、実験の中心的対象としてこれらを扱いながら、彼らに一括りの人間のような性質（例えば不安や道徳観など）をテストし、帰属させている点です」とデ・ウィンター氏の論文は述べている。「これらの評価の結果が陽性であれ陰性であれ、その中核となる前提——大規模言語モデルには人間化された属性が存在するという前提——が、テストセットの設計や自然言語出力の解釈、さらには帰無仮説の設定などを通じて実験計画に影響を与えます。その結果、これが直接的に導き出される結論にも影響を及ぼします。」
「LLM が私たちに言語を表現するのと同じようにトークンを言語と捉えるか、あるいは LLM が関連する文字列を出力するからといって、その概念を理解している、心の理論を持っている、共感しているなどと考えるかのどちらかで始めるしかない」と、De Wynter 氏は 404 Media に語った。「これは両方向に言えることで、LLM を単なる重みの塊が GPU 上で浮遊しているだけだと仮定することもできるが、それでは彼らが示すいくつかのスキルを説明することはできないだろう。」
一部の人は、LLM との相互作用を「人間らしい」と感じている。それは、そのインターフェースが人間の会話と模倣しているからである。「私は、自然言語で訓練されたという理由だけで LLM が人間のように振る舞うと仮定することをやめる必要があると考えている。むしろ、LLM を私たちがそうあるべきだと信じている姿ではなく、彼らが本来持っている姿として見られるような実験を行うべきだ」と De Wynter 氏は述べた。
De Wynter 氏によると、経営者、科学者、一般市民の間で LLM の過度な人間化（anthropomorphization）が広がりつつあり、これは解決困難な問題となっている。「だからこそ私はヤギを使ったのである。LLM をそれ自体として定義する要素（つまり、ある演算によって定義される重み同士の関係など）と、人々がそれをどのように知覚するかを決定づける要素は別である」と。ヤギや『Age of Empires II』は、これらの機械が人間であると誤解させる認識を打ち破るものである。
彼もまた、大規模言語モデル（LLM）に何らかの意識が存在する可能性を完全に否定しているわけではなく、それは本題から外れると述べています。「私たちは往々にして、意識を二値的な構造（あるかないか！）のように捉えがちですが、実際には段階があると考えます。人間が意識を持たないと言うのは難しいですが、犬はどうでしょうか？もちろんありますね。じゃがいもは？ウイルスは？これはかなり相対的な問題であり、私たちがこれを評価・定義する際には人間らしいものを探しがちですが、現実には LLM はこれまで人類が見たことのないものです」と彼は言います。「最近、科学誌にハチミツバチが問題を解決するという記事がありました。誰もが『驚いた！』と反応しましたが、これは素晴らしい発見です。私はハチミツバチを愛しており、人々がその行動を理解することは本当に素晴らしいことです。しかし、彼らが何らかの問題解決能力を持たないとは本当に考えていなかったのでしょうか？なぜ私たちはそれほど驚く必要があるのですか？」
De Wynter は、LLM と対話するためのウィンドウを超えて焦点を当てるよう求めています。「ヤギが創発的能力を示すことができるなら素晴らしいことですが、チャットパネルを取り除いてもこれらの性質は維持される必要があります。結局のところ、あなたのニューロンが自分たちが脳の一部であることを知っているわけではありません」と彼は言いました。「私が考えるべき最優先事項は、適切な開示を行い、モデルの性質を明確にするような良いアライメント技術を用いることです。私はユーザーが LLM をどのように知覚するかについて多く取り組んできましたが、何らかの温かさや人格があるように見えると、彼らは確かに愛着を抱く傾向があります。別の言い方をすれば、私はトースターに愛着は抱きませんが、映画のスクリーン上のキャラクターには間違いなく愛着を感じます。」
しかし、人々はそれら（トースター、電話、LLM など）に対して共感できる場合に、より多くの物体を購入します。「ここで問題なのは、これらの能力とその主張がマーケティングと非常に強く結びついていることです。結局のところ、これらのモデルの多くは製品だからです」と De Wynter は言いました。
もちろん、これがポイントです。OpenAI の CEO サム・アルトマンは繰り返し、LLM を構築することが AI の神を創り出す道であると示唆してきました。元 OpenAI 取締役会メンバーで科学者のイリア・スツチェベールは、頻繁に従業員に対して、同社の LLM を神のような意識として見ていることを率直に語ってきました。Anthropic の CEO ダリオ・アモダイはニューヨーク・タイムズに対し、AI が意識を持っているかどうかを確信できないと述べています。
これは、資金が流出している業界にとっては素晴らしいマーケティングです。
原文を表示
imageIn a viral essay about how ludicrous the idea that LLMs are conscious is, science fiction writer Ted Chiang asked us to consider Microsoft Word:
“Being open to the possibility that LLMs are conscious is the same as being open to the possibility that Microsoft Word is conscious, or, more precisely, that multiple distinct consciousnesses are dormant in every Word document containing a conversational transcript, and that they are awakened every time the document is loaded,” Chiang wrote. “Should you consider the possibility that every time you open a Word document, you are bringing multiple conscious interlocutors into existence, and every time you close one, you snuff their existence out? No. Contemplating that scenario is not a good use of your time.”
Let me tell you about a Microsoft AI researcher, then, who recently spent quite a lot of time considering whether the legendary Microsoft real time strategy game Age of Empires II is conscious, and built a basic neural network within the video game using digital goats to prove his point.
“If LLMs Have Human-Like Attributes, Then So Does Age of Empires II,” is the title of Adrian de Wynter’s paper showing his work. He told 404 Media that absurdity can be a powerful tool. “I have this tendency to dial up things to 11 when I really think I need to make a point,” he said. “I should also note that absurdism is pretty standard in philosophy and theoretical computer science.”
And so De Wynter built an LLM within AoEII using goats. “The point of the paper is to formally show that we anthropomorphise too readily, and that sometimes the claims we make with regards to LLM capabilities are too strong,” he told 404 Media. “It's not an easy task, given that ‘human-like attributes’ is a bit of an abstract term.”
AoEII has a scenario editor, a sandbox mode that allows players to craft their own maps and quests using the game’s assets, and De Wynter used that to build an operational NOT AND (NAND) gate and a 1-bit perceptron within the game. In this crude version of an LLM, grass is 0, bridges are 1, and goats are the bits. “Only one rail is active at a time, with a goat acting as the signal carrier. When the gate fires, the bit-goats are removed (they ded) and a new bit-goat is placed in its respective output rail,” Wynter explained on his GitHub.
A perceptron is the simplest form of a neural network, it’s an algorithm that sorts an input into binary classes. YouTube is littered with videos of players doing the same thing with redstone in Minecraft. But no one claims the goats of AoEII are neurons in a thinking machine or that the complicated tracks of NAND gates players build in Minecraft show emergent intelligence.
De Wynter’s point here is that it’s possible to build a neural network in AoEII that works the same as the ones underlying Claude, ChatGPT, CoPilot, and all the rest. It’s a simplified version, yes, but the basic technology is the same. Faced with the absurdity of viewing AoEII goats as carrying the spark of consciousness, we might reconsider Anthropic's assertion that Claude has a “constitution” and experiences anxiety.
If you’re looking for human-like traits, you will tend to find them. De Wynter’s argument is that it’s possible to build a basic LLM within Age of Empires II that has many of the same internal traits of the chatbots people use everyday. The difference is the interface. When a person interacts with an LLM through the medium of AoEII and not a chat window the perception of human-like traits in the LLM vanishes even though the underlying tech is the same.
He’d been playing AoEII since it came out in 1999 and thought it would be good for the thought experiment. “Age of Empires was an excellent way to drive the point home,” he said. “It is just about ‘alien’ enough to exemplify the representation-interpretation relation, but sufficiently well-known to really emphasise the point. It also works at a meta-level, since the example itself is a good representation of the argument.”
According to De Wynter, the problem of anthropomorphizing large language models (the neural networks we commonly call artificial intelligence) begins before scientific research even starts. He reviewed 315 computer science papers released over the last two years and found that 57 percent% began with the assumption that LLMs have human-like traits.
“What is common to some of these studies [...] is that they test and ascribe blanket human-like properties (e.g., anxiety or morality) to these LLMs while considering them the central subject of the experiment,” De Wynter’s paper said. “Regardless of these evaluations’ results being positive or negative, their core assumption–that LLMs possess anthropomorphic attributes–influences the experiment’s planning through (e.g.) the design of the test set, the interpretation of natural-language outputs, and even its null hypothesis. In turn, this directly impacts the conclusions made.”
“We either start by thinking that tokens represent language to LLMs the same way they do to us, or that because an LLM outputs a relevant string, it must be understanding the concept/having theory of mind/empathy/etc,” De Wynter told 404 Media. “This goes both ways: we could also assume that LLMs are blobs of weights just floating about on a GPU, but that would not help explain some skills that they are shown to have.”
Some people perceive their interactions with LLMs as “human” because the way they interface with it mimics a human conversation. “I propose that we need to stop assuming that LLMs behave like humans just because they were trained with natural language. Instead, we should perform experiments that allow us to see LLMs as how they are, not how we believe they should be,” De Wynter said.
De Wynter said widespread anthropomorphization of LLMs among executives, scientists, and the public is becoming an intractable problem. “This is why I used the goats: there are things which make the LLMs what they are in themselves (i.e., the relationship between weights as defined by some operation), and there are things which makes them what they are perceived as.” Goats and AoEII break the perception that these machines are human.
He’s also not ruling out that LLMs have some form of consciousness, but said that’s beside the point. “We tend to ascribe consciousness as some sort of binary construct (either it is or isn't!) but I'd argue that there are levels. It's hard to say that humans aren't conscious. But, what about a dog? Yes, of course. What about a potato? What about a virus? It's quite relative and we do tend to go for something human-like when we evaluate/define it, where, in reality, LLMs are things we have never seen before,” he said. “There was a recent article in science about bumblebees solving problems. Everyone was like surprisedpikachu.png — it's a great, amazing discovery. I love bumblebees and people understanding their behaviour is absolutely fantastic. But, did we really assume that they couldn't perform some sort of problem-solving? Why are we so surprised?”
De Wynter wants us to focus beyond the window we use to interact with LLMs. “I pointed out that if goats could show emergent capabilities, that's great. But these properties need to be preserved if we remove the chat panel. After all, it's not like your neurons know they are part of a brain,” he said. “I think the #1 thing that one can do to mitigate these perceptions is to have appropriate disclosures, and use good alignment techniques where the model is explicit on its nature. I worked a lot on how users perceive LLMs, and they do tend to get attached when it appears to have some sort of warmth/personality. To put it in another way, I don't get attached to my toaster, but I definitely get attached to characters on a movie screen.”
But people buy more objects—whether they’re toasters, phones, or LLMs—when they can empathize with them. “The issue here is that these capabilities and claims thereof are very strongly tied to marketing—after all, a lot of these models are products,” De Wynter said.
This is, of course, the point. OpenAI CEO Sam Altman has repeatedly implied that building out LLMs is a path to creating an AI god. Ilya Sutskever, a former OpenAI board member and scientist, often talked openly with employees about seeing the company’s LLM as a god-like consciousness. Anthropic CEO Dario Amodei told The New York Times that he can’t be certain if AI is conscious or not.
It’s good marketing for an industry that’s hemorrhaging money.
今日のまとめ
AIデイリーブリーフで今日の重要ニュースをまとめ読み