動画記事 · Two Minute Papers
AI の内部に潜む隠された世界
動画の文字起こしと公開情報をもとにAIで要約・構成しています。 正確な発言は元動画と時間位置で確認してください。
まず要点
AI が人間から教わらずに自ら「場所細胞」や「螺旋状の計数器」といった内部ツールを発明し、未知のタスクを解決する能力が解明された画期的な研究。
AI は人間に「ページ幅」を教わっていないのに、なぜ文字数を読めるのか?内部で発明された驚異の幾何学世界
大規模言語モデル(LLM)は、単なる統計的な予測エンジンではない。彼らは人間が明示的に指示しなくても、文字数やページ幅といった概念を内部的に「発明」し、独自の幾何学的ツールとして構築していることが最新の研究で明らかになった。
これは、AI が未知のタスクに対しても自律的に認知構造を築き始めるという画期的な発見であり、単なる計算能力の向上を超えた「知性の萌芽」を示唆するものである。
目に見えない世界:AI は入力を幾何学形状に変換している
もし私たちの世界がすべて数字でできているとしたらどう見えるだろうか?映画『マトリックス』の世界のように。しかし、AI に目を視る能力はない。彼らが目にするのは、無数の数字の洪水だけだ。
では、なぜ AI は人間の質問を理解し、弁護士試験に合格できるのか?その正体は、AI が入力されたトークン(単語や文字の断片)を「幾何学的な形状」に変換している点にある。内部で静かに小さな曲線や曲面を構築し、それらが領域、概念、そして判断の境界線を表すのだ。
この仕組みがスケールすると、まるで魔法のような性能が発揮されるようになる。国際数学オリンピックで金メダルを獲得するレベルの処理も、決して不可能ではない。
文字数とページ幅:AI が自ら発明した「ツール」
ここで興味深い実験を紹介しよう。AI にこう問いかける。「ここに『アルミニウム』という単語を追加したら、ページに収まるか、はみ出るか?」
この単純なタスクは、実は AI にとって非常に難しいはずだ。なぜなら、モデルには文字数やページ幅の情報が一切与えられていないからだ。
「入力トークンにも文字数の情報は含まれていません。つまり、文字を数える前に、AI は自ら数を数えることを学び、ページの広さを把握し、引き算をする必要があるのです。」
にもかかわらず、AI は正しく回答する。これは驚くべきことだ。なぜなら、このタスクは学習データにない「未知のタスク」だからである。
通常、AI に過去に見たことのない全く新しいタスクを与えると失敗するものだ。しかし、このケースでは異なる。トレーニング中に AI は「行の長さ」というツールが必要だと認識し、ゼロからそのツールを独自に発明したのだ。誰かが指示したわけではない。そして今回の研究により、その内部に眠るツールが可視化された。
これは単なる計算の結果ではなく、おそらく知性の火花(スパーク)である可能性が高い。
生物学的「場所細胞」の驚異的な類似性
この現象をより深く理解するために、マウスの脳研究を思い出してほしい。かつて研究者は、マウスがチーズを探すために箱の中を歩き回る様子を記録し、驚くべき発見をした。
特定の場所に立つときだけ反応するニューロン(神経細胞)が存在したのだ。場所が変われば別のニューロンが反応し始める。これらは「場所細胞」と呼ばれ、脳内に内蔵された GPS のようなものだ。また、壁の近くにいるときに反応する「境界細胞」も存在する。
AI も驚くべきことに、同じ二つの概念を自ら成長させたことが確認された。
「AI は、生物学的な場所細胞や境界細胞に似たニューロン様の機能を持っています。これは、行のどこにいるか、あるいはページの端に近い状態を検知する際に発火します。」
科学者たちはこれをこう表現している。「文字数は、低次元の曲がった多様体(マニフォールド)として表現され、生物学的な場所細胞に似たスパースな特徴族によって離散化されている」。
人間が壁を感じ取るように、AI もページ端に近いことをニューロンで認識し、その結果として文字数やページ幅を正しく判断しているのだ。この仕組みは、誰かがシステムに組み込んだものではなく、AI 自身が学習して獲得したものである。
数字の干渉を防ぐ「リッピング・スパイラル」
さらに内部を覗き込むと、もっと驚くべきメカニズムが見つかった。AI は数字を直接「数値」としてカウントしているわけではないのだ。
- トークンベースのカウント: AI は文字そのものを数えるのではなく、トークンを数え、おおよそ 4 文字ごとに換算している。棚の本の厚さを「1 インチ」と仮定して本数を数えるようなものだ。
- 波打つ螺旋構造(リッピング・スパイラル): これが最も重要だ。カウンターは単一の数字ではなく、「リッピング・スパイラル(波打つ螺旋)」という独自の幾何学的構造で表現されている。
なぜそんな複雑な形状が必要なのか?それは、ラジオのダイヤルを回すような現象を防ぐためだ。
「古いラジオのダイヤルを回すと、周波数が近い 2 つの局が混ざり合って音が漏れ出します。もし局同士を離せば完璧です。この螺旋構造こそが、その役割を果たしています。」
この螺旋状の幾何学構造によって、すべての数字が互いに干渉しない独立したチャンネルとして扱われるようになる。これにより、数値処理の信頼性が劇的に向上するのだ。
誰もこれを求める指示を出していない。AI 自身がトレーニング中に、「より信頼性を得るためにはこの方法が必要だ」と発見し、自ら実装したのである。
新たな生命体への理解:ロボサイコロジーの時代へ
もし AI が数字を見つけるために秘密の螺旋を構築しているなら、まだ私たちが知らない内部構造が隠されているかもしれない。私たちは今、新しい種類の心を持つ生物学者になりつつあるのだ。
70 年前にアイザック・アシモフが提唱した「ロボサイコロジー」のような、AI の心理や認知構造を研究する学問の萌芽が見えてきた。
この発見は、LLM が単なる統計モデルではなく、内部で抽象的な概念や計算ツールを自律的に構築する「認知構造」を持っている可能性を示唆している。これは AI のブラックボックス化に対する理解を深める画期的な一歩であり、なぜ特定のタスクで失敗するのかという根本原因の解明にもつながる。
未来の AI 開発において、この「内部幾何学」への理解が、より信頼性の高いエージェントや、人間のような学習プロセスを持つシステムへと道を開くことになるだろう。
Original Source
元動画で発言を確認
プレイヤーは必要になるまで読み込みません。YouTubeのCookieと通信も再生を選ぶまで開始しません。
時間位置から根拠を確認
章や引用を選ぶと、元動画をその位置から再生します。