実世界のための AI：ヤン・ルコン氏との対談（12 分読了）

## Article AI for the Real World: A conversation with Yann LeCun 今日の言語モデルは機械知能への道筋なのか、それとも単に商業的に実現可能な局所最適解に過ぎないのか？ 後者の立場を最も明確かつ一貫して主張する声の一人がいます。彼の視点では、LLM（大規模言語モデル）は有用であるかもしれないものの、知能を持っているわけではありません。離散トークンのシーケンスを予測するように訓練されたシステムには、知能というものの根本的な構成要素である世界に対する理解がありません。 私は数週間前にヤン・ルコン氏と座談会を行い、この考えや彼の未来へのビジョンを探求しました。 「今日私たちが持っているモデルが有用かどうか？それらに対する市場はあるのか？」という問いについては、「はい」と答えます。しかし、より大きな問いである「これらのモデルが人間レベルの知能、あるいはそれに類似するものへと私たちを導くのか？」については、「絶対にない」と断言します。 ヤン氏は最近、世界モデルを構築するために、ポートフォリオ企業の一つである OpenAI の傘下にある組織を設立しました。これは、物理的世界を理解し、行動の結果を予測できるようなものを構築するためのものです。 「人間の知識や思考の多くは言語とは無関係です」とヤン氏は言います。それにもかかわらず、流暢に話すものにはすべて理解があると私たちは評価してしまいます。「私たちは、言語を通じて自己表現できるものに知能を見出そうとするバイアスを持っています。」 彼は以前行った計算を私に説明してくれた。4 歳の子どもはおよそ 16,000 時間起きている。視神経は、1 本の線維あたり毎秒約 1 バイトの情報を運び、片目の線維数は約 100 万本ある。これを掛け合わせると、人生の最初の 4 年間に脳に到達する視覚データの量は 10^14 バイト程度となり、これは現代の大規模言語モデル（LLM）の事前学習に使われるテキストコーパス全体と同程度の桁数である。 「これを読み通すのに、私たち誰にとっても約 40 万年かかるだろう」と彼は言った。つまり、小さな子どもは視覚だけで、最も大規模な言語モデルがトレーニングで見るのと同じ量の生情報（raw information）をすでに吸収しているのだ。「テキストのみを学習して人間レベルの AI に到達することは決してできない。それはあり得ないことだ。」 LLM が持っているのは、宣言的知識（declarative knowledge）を蓄積し検索する能力である。これは、現実に対する深いモデルを発展させることなく、時間とともにより賢く見えることを意味する。彼らは単に人々がどのような質問をするかに慣れ親しんでいくだけだ。 「システムが知的に行動するようにしたいなら、その行動の結果を予測できる必要がある」と彼は言った。「そして LLM はそれを完全にできない。」 ヤンは、言語モデルについて特定の 2 つのドメイン、つまりコーディングと数学にのみ信を寄せています。「これら 2 つのドメインで非常にうまく機能する理由は、記号の操作そのものが推論の基盤となっているからです。」しかし、これは限定的なケースに過ぎません。「日常の事象には少しの常識的な推論や、もちろん計画が必要ですが、それらの領域では言語モデルが到達することはないでしょう。」 ヤンが過去 15 年以上取り組んできたのは、別のアプローチです。それは世界がどのように変化するかを学習し、一連の行動の結果を予測できるシステムです。 「これは信頼性の高いエージェント型システムを構築する唯一の方法です」と彼は言います。「彼らが行動を起こす前にその結果を予測する能力を持たないエージェント型システムをどうして構築できると考えるのか、私には理解できません。」 難しいのは、このようなモデルを実世界のデータから学習させることです。次トークン予測が機能するのは、記号が離散的で圧縮可能であるからです。一方、物理世界はそうではありません。「私は 15 年以上この問題に取り組んできましたが、最初の 10 年間は本質的に失敗していました。なぜなら、ビデオのピクセルレベルで何が起きるかを予測するために生成アーキテクチャ（generative architectures）を使用していたからです。このようなデータは予測不可能なのです。」 彼は、手のひらの上にバランスさせたペンの例を挙げました。手を離せば、それが落下することは予測できます。しかし、どの方向に落ちるか、次のフレームのすべてのピクセルがどのような配置になるかを正確に予測することはできません。もしシステムに対してこれらの詳細すべてを予測させるように訓練すれば、それはノイズや偶発的事象を、知性の本質であるかのようにモデル化することを強いることになります。「状況の詳細すべてを予測するようにシステムを訓練しようとすると、そのシステムは不可能なことをさせようとするために、実質的に機能を損なわれてしまいます。」 彼が提案する代替案は、Joint Embedding Predictive Architecture (JEPA) です。すべてのピクセルを予測するのではなく、このシステムは世界の抽象的な表現を学習し、その表現に基づいて予測を行います。「入力に含まれる予測不可能な詳細、つまりノイズや複雑さのすべては、基本的に表現から排除されるため、予測が信頼性のあるものになります。」計画に重要な潜在状態（latent state）を学ぶことができるのです。たとえそこからフォトリアリスティックなフレームを再生成できなくても構いません。 抽象的な世界モデルを一度獲得すれば、推論はそのモデル内での探索になります。これが LLM ができない理由です。彼らには探索するモデルを持っていないからです。「推論が一種の探索であるという考え方は非常に根本的だ」と彼は言いました。「LLM はこれを行いません。答えを探す能力さえ持っていません。単に答え、つまりトークンを生成するだけです。」彼の視点では、Chain-of-thought（思考連鎖）は workaround（回避策）です。「自己回帰予測システムを強制的に推論に近づけさせる、非常に非効率な方法です」と彼は述べています。真の推論とは内部シミュレーションであり、これはメンタルモデルの操作、反事実的推論の実行、人間がパリへの旅行を計画するように階層的に計画すること（つまり筋肉命令のレベルではなく、上位から下位へサブゴールを精緻化する方法）を意味します。 これが彼が AGI という用語よりも「汎用知能」を好む理由です。「知能の真の性質は、訓練されたことのない新しい問題を解決できることです」という命題が、現在 Yann の会社である AMI Labs（Advanced Machine Intelligence、フランス語で「友人」を意味する単語と同じく「アミー」と発音）の基盤となっています。 AMI は現実世界のための AI を構築しています。「多くの産業は単に物事を動かしているだけではありませんか？物理的なものです。そしてここが現在の AI 技術が不足している点です」と彼は私に語りました。同社の明らかな焦点は、産業プロセス制御、自動化、ウェアラブルデバイス、ロボット工学、およびヘルスケアにあります。 経済の巨大な部分は、物理システムの稼働（工場、サプライチェーン、電力網、生物システム、交通ネットワーク）に依存しています。これらはテキストが作業の周りにあるインターフェースであることが多い環境ですが、それ自体が作業内容ではありません。「AMI は、何かを物理的に実行するために知的システムが必要なあらゆる状況に応用できる汎用的な基盤モデルを構築している」とヤン・ルコンは述べています。 AI の物理経済層は、現在多くの企業が使用しているスタックとは異なるものの上に構築されます。次のトークンを予測するのではなく、これは次の状態を予測することです。 世界モデルのバージョンを構築しようとする他の企業も多数あります。アプローチの違いは、モデルが何を予測しようとしているか（ピクセルと幾何学構造 versus 抽象的な状態）にあります。 彼らのウェブサイトによると、同社は「知覚し、生成し、推論し、3D 世界と対話できる世界モデル」を構築しています。最初の製品である [製品名] は、テキスト、画像、またはビデオをデザイナーがさまざまなクリエイティブツールで開ける 3D 環境に変換します。 同様の問題に対して異なるアプローチを採用している [企業名] の [製品名] は、ユーザーがフレームごとにナビゲートできるリアルタイムのインタラクティブな世界を生成します。 [企業名] [企業名] 人間型ロボティクスに特化した動画事前学習済み世界モデルを構築しています。1X のモデルはまずインターネット上の動画から学習し、次に人間の視点から撮影された映像から学習し、さらに別のモデルを使用して「次は何が起こるべきか」という予測をロボット動作に変換します。Generalist は、世界モデルと VLAs（Vision-Language-Action models）のアイデアを組み合わせて、人間が日常的なタスクを行う際に装着するウェアラブルデバイスから収集した約 50 万時間の実際の物理的相互作用データでトレーニングを行います。 ある企業は、「開発者が自社の Physical AI（物理人工知能）設定用にカスタマイズされた世界モデルを構築できるよう支援するプラットフォーム」を構築中です。一方、別の企業は、自動運転と人間型ロボットの制御の両方を行える単一の AI モデルを開発しており、これらを同じ基盤となる知能を実行する異なる身体として扱っています。 AMI の特徴は、ピクセルレベルでの生成ではなく、JEPA スタイルの抽象表現を中心としたアーキテクチャへの賭けです。完璧なピクセル予測は計算コストが高く、ヤン・ルンが長年主張してきたように、予測不可能なものを予測しようとすることは、モデルが重要視すべき事柄に対する把握力を積極的に低下させます。抽象表現は因果的に重要な構造を保持しつつ、ノイズを除去します。これが機能すれば、物理のより良いモデルとなるだけでなく、展開コストも安価になります。 特にロボティクスにおいては、その影響は甚大です。現在主流のアプローチである、観測結果を直接モーターコマンドにマッピングするビジョン・言語・アクションモデル（Vision-Language-Action models）には、2 つのよく理解されている限界が存在します。 第一にデータです。遠隔操作によるロボットデータは最高品質のソースですが、並列化できません。これは所有するロボットの台数と熟練オペレーターが作業できる時間によって制限されます。研究者たちは回避策を開発しました：人間がロボットなしでデモを収集できるようにする手持ち型グリッパー（UMI など）、日常活動を記録するウェアラブル装置、異なるロボット種間でデータを統合するクロスエンボディメントデータセット、そしてシミュレーションパイプラインです。しかし、それぞれに埋め込みギャップがあり、これを埋める必要があります。一方、現時点で利用可能な最大のコーパスであるインターネット上の人間動画は、行動がラベル付けされていないため直接活用するのが困難です。逆ダイナミクスや潜在動作モデルに関する最近の研究がこの活用を可能にし始めており、これがワールドモデルの勢いが高まっている理由の一つとなっています。 第二にエンボディメントのロックインです。観測から行動へのマッピングは、学習された知識を特定のロボット本体に結合させる傾向があります。異なるエンボディメント間での転送は可能ですが、完璧ではありません。あるアームで訓練されたポリシーは、別のアームで動作させるには大幅な適応を必要とします。その結果、知識は「このロボットが特定の環境でどのように動くべきか」というレベルに閉じ込められ、「世界で何が起きるべきか」というレベルまで達しません。 世界モデルは両方の問題に同時に取り組む。世界の進化（物体が落下する方法、接触が伝播する方法、液体の振る舞いなど）に関する抽象的な表現を学習すれば、その中で行動する主体が何であれ真実である何かを学んだことになる。この知識はアクションラベルなしで動画から吸収可能だ。なぜなら目標は次のモーターコマンドを予測することではなく、次の状態を予測することだからだ。物理を理解したモデルは、利用可能なあらゆるエンボディメントに適応でき、再学習ではなく較正によって対応できる。 この機会はロボット工学を超えて広く広がる。「このようなタイプのアプリケーションは無数にある」とヤン・ルコン氏は私に語った。「現実世界のあらゆるものを制御したい：製造プラント、ターボジェットエンジン、化学プロセス。ヒトの細胞。患者に対する治療シーケンスを計画し、例えば血糖値を制御したいと思う。患者の状態の少なくとも一部の側面について良い予測モデルを持っていれば、これを個別化されたベースで実行できるかもしれない。」 このような瞬間には、市場の形状と問題の形状を取り違えやすい。LLM は並外れた価値を生み出しており、記号操作が実際の作業となるケースでは今後もそうし続けるだろう。 しかし、経済の大部分は言葉や記号によって動いているわけではありません。それは物理システム、つまりテキストがラッパーとして機能するものの、それ自体が作業ではない環境において成り立っています。そのような環境で動作できるシステムには、現在のモデルが持っていない何かが必要です：世界に対する基礎的な理解、行動の結果を予測する能力、そして訓練されていない問題に適応する能力です。 知能は言語よりもはるかに広範な概念です。将来の AI システムも依然として言語を使用しますが、言語はもはや唯一の基盤ではなくなります。 ヤン・ルコンが述べたように、「言語は思考するシステムへのインターフェースとして機能します」。 著者の注記：LLM は軽い校正（スペリング、文法、明瞭さ）のみで使用されました。コンテンツ、意味、トーン、構造は変更されていません。

実世界のための AI：ヤン・ルコン氏との対談（12 分読了）

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト