Will machines ever be intelligent?｜機械はいつか知能を持つのか？

技術の進歩は非常に急速なペースで進んでいるため、私たちが目指す明日を定義することは困難な場合があります。『The Shape of Things to Come』では、Microsoft Researchのリーダーであるダグ・バーガーと、さまざまな分野の専門家が、技術者、政策立案者、ビジネス意思決定者、その他のステークホルダーが現在直面している最も困難なAI（人工知能）問題を探ります。目標は、AI移行が正味のプラスとなる未来を構築するために必要な共通理解を高めることです。 このシリーズの最初のエピソードでは、バーガーはMicrosoft Researchのニコロ・フージとNumentaのスブタイ・アフマドを迎え、今日のAIシステムが真に知能を持っているかどうかを検証します。彼らは、トランスフォーマーベースの大規模言語モデル（LLM）と、人間の脳の分散型で継続的に学習するアーキテクチャを比較し、効率性、表現、感覚運動的基盤における違いを探ります。この議論は、知能が本当に何を意味するのか、現在のモデルがどこで優れているのか、あるいは不足しているのか、そして将来のAIシステムがそのギャップを埋めるために何を必要とするのかを探ります。 詳細情報: Matching Features, Not Tokens: Energy-Based Fine-Tuning of Language Models 出版物 | 2026年3月 A Thousand Brains: A New Theory of Intelligence 書籍 | ジェフ・ホーキンス | 2022年 Thousand Brains Project ホームページ A Framework for Intelligence and Cortical Function Based on Grid Cells in the Neocortex 出版物 | 2019年1月 Why Neurons Have Thousands of Synapses, a Theory of Sequence Memory in Neocortex 出版物 | 2016年3月 On Intelligence 書籍 | ジェフ・ホーキンス、サンドラ・ブレイクスリー共著 | 2005年 Microsoft Research Podcastを購読する: Apple Podcasts Email Android Spotify RSS Feed トランスクリプト [音楽] ダグ・バーガー: こちらはMicrosoft Research Podcast『The Shape of Things to Come』です。ホストのダグ・バーガーです。このシリーズでは、AI（人工知能）能力の最先端に挑み、基礎を深く掘り下げ、それらを本当に理解し、これらの能力が世界をどのように変えるか―良い面も悪い面も―について考えます。 今日のポッドキャストでは、2人のAI研究者・専門家を迎えます: デジタル、トランスフォーマーベースの大規模言語モデル（LLM）アーキテクチャと学習の専門家であるニコロ・フージと、生物学的アーキテクチャ、特に人間の脳の専門家であるスブタイ・アフマドです。私たちが議論する質問は、機械は知能を持っているのか？です。 私がそれによって意味することは: デジタル知能、大規模言語モデル（LLM）は、人間を超える道を歩んでいるのか、それともアーキテクチャが根本的に異なるため、一方は一連のことをうまく行い、もう一方は別のことを非常にうまく行うのか？です。ですから、私たちはデジタル実装と生物学的実装にわたる知能のアーキテクチャについて議論します。なぜなら、その質問への答えが、来るべきものの形を本当に決定すると考えるからです。 [音楽がフェードアウト] ゲストの皆さんに自己紹介をお願いしたいと思います。あなたの背景と、AI（人工知能）において現在取り組んでいること―話せる範囲で―について少し教えてください。では、ニコロ、始めてもらえますか？ ニコロ・フージ: はい、ダグ、私たちを、そして私をここに迎えてくれてありがとう。とても楽しいです。私はニコロ・フージです。MSR（Microsoft Research）の研究者です。ダグは私の上司なので、このポッドキャストではダグに非常に、非常に、非常に良くしますよ。 冗談はさておき、私自身の背景はベイジアン非パラメトリックです。それが私が学び始めたことです。つまり、ガウス過程などです。そして同様に、計算生物学にも興味があります。なぜなら、それがAI（人工知能）技術の最も興味深いユースケースの一つだと感じたからです。そしてそれは、私のキャリアを通じてずっと真実でした。そしてほぼ他の皆さんと同じように、最終的にはカーネル法とベイジアン非パラメトリックから離れ、情報理論と情報理論と生成モデリングの関係に特に目を向けながら、言語モデル、トランスフォーマーモデルについてより多く働き始めました。そしてそれは、私よりもはるかに興味深い仕事をする人々の研究を管理すること以外に、私が今日主に行っていることの一つです。[笑] バーガー: そこに割り込ませてください、ニコロ。あなたが私の道に餌を引っ張ってきたからです。 フージ: そうだろうと思いました。 バーガー: ご存知の通り、Microsoft Researchでは、世界で最高の人材を採用しているため、誰にも何をすべきか指示できないという管理ルールがあります。彼らを信頼しなければなりません。そして誰もが常に私にBS（でたらめ）と言う完全な自由を持っています。ですから、ニコロはそこで冗談を言っていたのです；[笑] 彼は党の路線に従う必要はありません。実際、私は彼にそうしないことを勧めます。だから、そう… フージ: 私はただ行儀良くしていなければならないだけです。それが私が言う唯一のことです。[笑] バーガー: ええ。ありがとう、私を餌で釣ってくれてありがとう。[笑] なぜなら、彼は自分が何をしているかを正確に知っていたからです。そして私はそれを愛しています。 スブタイ、あなたについて少し教えてもらえますか？ スブタイ・アフマド: もちろん。ダグ、私を迎えてくれて本当にありがとう。私たち全員の間の会話を本当に楽しみにしています。 私は自分自身を根本的にコンピュータ科学者と見なしています。ご存知の通り、私は認めたくないほど長い間コンピュータ科学を研究してきました。しかし、学部時代に私にとって何かが変わりました。認知心理学を副専攻することに決め、脳がどのように機能するかに本当に興味を持ち始めました。 そして私にとって、知能を理解し実装することは、コンピュータ科学者が解決できる最も難しい問題でした。ですから、私はそれに非常に、非常に興味を持ちました。ご存知の通り、それを本当にどう商業化するかは見えませんでした。私は製品などを作ることに非常に興味がありました。だから、しばらくの間、その仕事をやめました。コンピュータビジョン、ご存知の通り、ビデオ処理、そのような多くのことをするスタートアップをいくつか行いました。 そして、ジェフ・ホーキンスが2005年に脳がどのように機能するかを本当に深く理解し、それをAI（人工知能）にどのように適用するかを考え出すという考えでNumentaを始めたとき、私にとっては、すべての私の世界が一つにまとまるようでした。これが、私がしなければならなかったことです。私たちの誰も[笑] それがかかるほど長いとは思いませんでした。私たちは過去数十年間、プログラマーの観点から、基礎となるアルゴリズムから、神経科学を本当に深く理解しようとしてきました。そしてそれが本当に私が情熱を注いでいることです。ただ、神経科学について理解していることを今日のAI（人工知能）に翻訳しようとすることです。 そして、今日私たちが取り組んでいることに関しては、ご存知の通り、人間の―おそらくこれについて少し話すかもしれませんが―脳はその働き方において超効率的です―電力効率、エネルギー効率―そして私たちはそれらのアイデアを具体化し、AI（人工知能）を今日よりもはるかに効率的にしようとしています。 バーガー: 素晴らしい。効率性についてはポッドキャストの後半で少し取り上げると思います。なぜなら、それは元々訓練によってコンピュータアーキテクチャである私の心に近く、大切な主題だからです。 私は、あなたがNumentaに関わるようになった理由の一つに戻りたいと思います。ご存知の通り、スブタイと私は何年もメールを交換し、協力について議論し、お互いを訪問してきました。そして本当に私に残ったのは、ジェフの初期の本の一つ『On Intelligence』を読んだときでした。そしてその本には、ご存知の通り、人間の脳がどのように継続的に学習するかについて話す例がありました。私は生物学的生物一般が継続的に学習すると考えます。 そして私が覚えている逸話は、地下室の階段を歩いているときのこの逸話です。ご存知の通り、地下室への階段を歩いていて、いつも数インチずれている段が一つあり、それを直すことに決め、他の段と同じ高さになるように上げます。そして次に階段を下りるとき、あなたは覚えておらず、大きくずれて、ご存知の通り、その段に、予想より早くまたは遅くぶつかり、バランスを崩します。あなたはあちこちに手を振り回します。ご存知の通り、アドレナリンが大量に出ます。あなたは頭から階段を転がり落ちそうになると思います。うまくいけば落ちません。そして2回目にそれをすると、少しバランスを崩しますが、それはひどくはありません。そして3回目には少し気づくかもしれません。4回目には、それは、ご存知の通り、あなたの地下室の階段です。 そして、最初に下りたときと3回目、4回目に下りたときの間に、あなたの脳には地下室の階段の新しいタイミングを学習した分子的変化があります。そして私はその本からその例を鮮明に覚えています。そしてそれは私に考えさせました。わあ、これは私たちのデジタルAI（人工知能）の働き方とは非常に異なると。それについてコメントしてもらい、それからデジタルについて話すと思います。 アフマド: ええ、いいえ、それは素晴らしい例です。私たちの脳がそのような細かいレベルで私たちの世界全体を常にモデル化していることは驚くべきことだと思います。そして私たちは知覚的にもそれに気づいていません。ご存知の通り、階段の例はおそらく…あなたは意識的にそれに気づかないでしょう。それでも、あなたが非常に慣れ親しんでいる世界の何かが異なっていれば、あなたは即座にそれに気づくでしょう。そしてあなたは、ご存知の通り、あなたの世界モデルを更新し、調整し、続けます。脳がそれをいかにシームレスに行えるかは本当に驚くべきことです。 バーガー: そしてその多くは神経伝達物質に基づいていますよね？なぜなら、ただ…ご存知の通り、「私は階段を転がり落ちそうだ」という身体的反応があるとき、あなたは実際に脳の学習方法、または少なくとも学習速度を変える伝達物質の洪水を得ます。 アフマド: ええ、神経伝達物質や神経修飾物質も大量に放出され、変化を引き起こします。時には非常に急速に。もう一つの例ですが、熱いストーブに触れると――これは典型的な例です――非常に、非常に速く学習しますよね。ですから、多くの化学的変化が起こっています。しかし、私たちが他のすべての知識に影響を与えることなく、物事や世界に関する知識を更新できるということも、実に興味深い点です。これは、今日のAIモデルとはまた、非常に、非常に異なる点です。私たちは、非常に文脈依存的な、そして非常に細かい粒度でこれらの変更を行うことができるのです。 バーガー: それでは、ニコロ、少しトランスフォーマーの話に移りたいと思います。私たち、つまり君と私、そしてスブタイは皆、2017年にトランスフォーマーが登場するずっと前からAI分野で働いていました。私のチームは、RNN（リカレントニューラルネットワーク）やLSTM（長短期記憶）を高速化するハードウェアを構築していました。これらは、厄介なループ依存性、つまり計算のボトルネックがありましたが、トランスフォーマーははるかに並列化が容易でした。 では、これらのモデルの中で実際に何が起こっていると思いますか？ まずは主要な構成要素から始めましょうか。私たちはこの件についてよく話してきましたからね。アテンション層があります。フィードフォワード層があります。エンコーダースタックとデコーダースタック、そしてその間の潜在空間があります。これらの構成要素について、大まかに説明し、何が起こっていると考えるかを教えていただけますか？ フージ: ええ。ええ、つまり、私にはなぜトランスフォーマーがこれほど優れているのかについて、非常に強い意見があります。 バーガー: だから君に話を聞いているんですよ。[笑う] フージ: たぶん、そうですね、その意見を挟み込むかもしれません。それが超革新的な創造的な意見だとは思いませんが、一つの意見です。主な二つの構成要素は、あなたがすでに説明した通りです。トランスフォーマー層（つまりアテンション層）とフィードフォワード層です。一つの考え方は、文脈内の情報が互いにどのように関連し、例えば言語モデルにおけるトランスフォーマーの場合、各トークンが何を指しているのか、ということです。 ここで文脈とは、モデルに入力され、モデルが継続的に生成し、追加していく情報を意味します。 バーガー: つまり、チャット履歴のようなものですね。 フージ: あなたのプロンプトです。何ですか？ チャットセッションにおけるあなたのチャット履歴、または特定のプロンプトです。 バーガー: OK。 フージ: そのプロンプト、つまり一連の単語は、一連のトークンに離散化されます。トークンは個々の単語の場合もあれば、複数の単語がつながったものの場合もあります。単語からトークンへ変換する方法は、通常、基本的に可能な限り圧縮しようとするアルゴリズムを通じて行われます。例えば「the dog」のような複数の単語は、モデルに入力するための第一段階の圧縮として、単一のトークンになるかもしれません。つまり、可能な限り効率的にまとめようとするのです。 そして、これらのモデル内部には、トランスフォーマー層があります。このトランスフォーマー層、すみません、このアテンション層は、基本的に「the」が何を指しているのか――「the dog」の中の「the」という語、あるいは「the dog jumps on the table」では「jumps」が犬を指している――を把握しようとします。つまり、このようなマッピングが起こるのです。 そして、フィードフォワード層があります。現代の大規模言語モデルでは、ここに多くの情報が格納されています。つまり、ここが典型的に知識が存在する場所、モデルが単に知っている事柄が置かれる場所なのです。例えば、あなたがテーブルの上のコップに腕をぶつけると、そのコップはテーブルから落ちる、といったことです。これは、モデルが、コップがぶつけられてテーブルから落ちるということを大量に読むことで、いわば焼き付けられた知識です。 ですから、私にとって、これら二つが基本的な構成要素です。そして私が強い意見を持っている理由は、正直なところ、RNNや、状態空間モデルの現代的形態でさえも、これらの言語データや視覚データ、音声データなどを学習するには十分だと思うからです。 トランスフォーマーの良い点は、二つのことを非常にうまく行うことです。一つは、邪魔にならないことです。リカレントネットワークのように「すべてが状態を通じてエンコードされなければならない」という概念がありません。二つ目は、あなたがおっしゃったように、計算効率が非常に高いことです。計算上のボトルネックがありません。そのため、モデル内を十分な情報の流れが可能にする、ちょうど良い時期にちょうど良いアーキテクチャとして、この素晴らしい余剰を生み出したのです… バーガー: ええ。 フージ: …それによって、私たちはこれらの驚くべき成果を得ることができたのです。 バーガー: 一点、突っ込んで聞きたいのですが。アテンションブロックでは、どの単語やトークンがどのトークンに関連しているかを把握できます。ですから、プロンプトを入力すると、すべての関係を見つけ出し、それらの関係をフィードフォワード層――正確には層内のフィードフォワードユニット――に送り上げます。そしてあなたは知識がそこにエンコードされると言いましたが、では、それらのマップが知識にアクセスし、それを出力に投影し直し、次の層のアテンションブロックに送り上げるということは、実際には何を意味するのでしょうか？ フージ: 繰り返しになりますが、ええ。 バーガー: つまり、知識にアクセスし、その知識を統合し、別のアテンションマップに戻るというのは、少し奇妙に思えます。 フージ: そうですね、それは層のフィードフォワード部分で起こる混合操作と見ることができます。つまり、アテンションを行い、次に混合を行い、より高い情報内容を持つ空間や、異なるレベルの情報抽出が行われる空間に再投影するようなものです。そしてそれを、「さて、もう一ラウンド処理をしよう」と、再びアテンションを行い、混合するために戻すのです。そしてそれを何度も繰り返します。 ですから、プロンプト内に存在し、重みに焼き付けられた情報が、さらに洗練されていくのだと思います。その洗練が構造の抽出なのか、より高次の概念への集約なのかは、確信が持てません。構造が抽出され、無関係なものが押しのけられるだけだと思います。しかし、それが必ずしもアーキテクチャを通じて集約されることを意味するわけではありません。 バーガー: では、私が聞き取ったことを言い換えてみます。つまり、情報を追加し、より高次のレベルで情報を追加しているが、少なくとも関連性のない低次の情報を必ずしも捨て去っているわけではない、そういうことですよね？ フージ: ええ。 バーガー: なぜなら、高次のものが低次のものに依存している場合、まず低次のものを持っていなければならないからです。そして、エンコーダーブロックの頂点に到達すると、そのすべての情報が最大化された状態で潜在空間にいることになります。そう考えることはできますか？ もし同意されるなら、エンコーダーブロックが実際に何であり、潜在空間が何であるかについて話していただけますか？ フージ: 私は同意する傾向があります、ええ。つまり、あなたが説明しているのは… 私が起こっていると思うことを説明していると思います。それは、プロンプトの文脈と、モデルが知覚する、あるいはあなたが行っていると理解するタスクが与えられたとき、関連する情報を強調し、引き出す必要があるということです。そしてそれは、層ごとに要約することによってではなく、その情報の顕著性を高め、他のものを抑制することによって行われるのです。ですから、最終的には、あなたの意図と、プロンプト内の要素、そしてそれを解決するために必要なモデルの知識の両方を特定する、概念空間におけるこの美しい地点に到達するまで、それが起こるのだと思います。 バーガー: では最後の質問です。その後、スブタイに少し話を移したいと思います。 では、デコーダースタックを通るとき、私たちは単に逆方向に進み、高次の概念を早期に取り除き、細かいトークンに下りていくだけなのでしょうか？ それとも… なぜなら、エンコーダースタックを通って上昇し、それらのアテンションブロックとフィードフォワード層を経て、あの魔法のような潜在空間に到達するからです。そして今度は逆方向に進みます。エンコーダースタックと同じプリミティブで構成されるデコーダースタックを通るその逆方向のプロセスを、どのように考えますか？ フージ: 同じプリミティブです。一種の逆操作と考えることができます。つまり、あなたは全体を通して情報を失うことはありません。ただ、異なる種類の情報を抑制したり、優先したりしただけです。そして今度は、基本的にそれを、理解可能な空間に投影し戻しているだけです。そしてそれは、モデルがその… 報酬という言葉を使うのはためらわれますが、特定の意味合いがありますから… 損失が計算され、モデルに押し戻される場所のようなものです。 バーガー: そうですね、すべてのパラメータ――単語間の関係、フィードフォワード層内の情報、その潜在空間の設計、そしてそこからの知識の抽出――を進化させ、訓練しようとするときに。 フージ: その通りです。ですから、エンコーダー・デコーダーモデルでは、全体を通して押し進め、特定のトークンにデコードし戻します。これはご存じない方のために言うと、語彙から出てくる文字通りの数字、例えば487番目の単語のようなものです。もしそれが1500番目の単語だったら、あなたは… バーガー: 別のものになりますね。 フージ: …悪い報酬を得ます。ええ、ええ。そして… もし正解だったら、モデル全体に流れ戻る肯定的な信号を得ます。 バーガー: では、スブタイに話を移したいと思います。これを聞いた後で、あなたは長年、神経科学や新皮質、皮質コラムなどを研究してきましたし、私たちは多くの議論を交わしてきました。人間の脳は、それとは異なることをしているのでしょうか？ つまり、私たちは単に潜在空間を構築し、抽出しているだけなのでしょうか？ アーキテクチャは非常に異なりますが、内部では何が起こっているのでしょうか？ AHMAD: ええ、アーキテクチャはまったく異なります。ニコロがトランスフォーマースタック（transformer stack）全体で何が起こるかを説明していたのを聞きながら、私は脳内でわかっていることも関連づけようとしていました。 典型的なトランスフォーマーモデル（transformer model）では、t

機械はいつか知能を持つのか？

背景や根拠まで確認しますか？

調べる

選ぶ

サイト