AGIはマルチモーダルではない

「言語を思考のモデルとして投影し直すことで、私たちは知性を支える暗黙の身体的了解を見失う」 – テリー・ウィノグラッド 生成AIモデルの最近の成功は、一部の人々にAGI（人工汎用知能）が間近であると確信させている。これらのモデルは人間の知性の本質を捉えているように見えるが、それらは知性に関する私たちの最も基本的な直感さえも裏切る。それらが登場したのは、知性という問題に対する思慮深い解決策だからではなく、既に所有していたハードウェア上で効果的にスケールしたからだ。スケールの果実に魅了された一部の人々は、それがAGIへの明確な道筋を提供すると信じるようになった。この最も象徴的なケースがマルチモーダルアプローチであり、そこでは巨大なモジュール型ネットワークが一連のモダリティに対して最適化され、それらを合わせると汎用的に見える。しかし、私はこの戦略が近い将来に確実に失敗すると主張する。それは、例えば感覚運動推論、動作計画、社会的調整を行える人間レベルのAGIにはつながらないだろう。モダリティを継ぎはぎのAGIに接着しようとする代わりに、私たちは、身体化と環境との相互作用を主要なものとして扱い、モダリティ中心の処理を創発現象として見る知性へのアプローチを追求すべきだ。 序文：人工汎用知能（AGI）の非身体的な定義——「汎用」に重点を置く——は、AGIが解決できると期待すべき重要な問題領域を除外している。真のAGIは、すべての領域にわたって汎用的でなければならない。完全な定義は、少なくとも物理的現実に起因する問題（例：車の修理、結び目の解きほぐし、食事の準備など）を解決する能力を含まなければならない。次のセクションで論じるように、これらの問題に必要なのは、基本的に物理的世界モデルのようなものに位置づけられた知性の形態である。これに関するさらなる議論については、『Designing an Intelligence』（編者：George Konidaris、MIT Press、近日刊行）に注目してほしい。 なぜ世界が必要なのか、そしてLLMがそれを理解しているふりをする方法 TLDR: 私はまず、真のAGIには世界に対する物理的理解が必要だと論じる。なぜなら、多くの問題は記号操作の問題に変換できないからだ。LLMは次のトークン予測を通じて世界のモデルを学習していると示唆する人もいるが、LLMはトークンを予測するためのヒューリスティックの袋を学習している可能性が高い。これにより、彼らは現実を表面的にしか理解できず、その知性についての誤った印象を生み出す一因となっている。 次のトークン予測という目的の最も衝撃的な結果は、それが私たちのように世界を観察したことがないにもかかわらず、人間らしい深い世界理解を反映するAIモデルを生み出すことだ。この結果は、言語を理解すること、さらには世界を理解すること——私たちが長い間、言語理解の前提条件だと信じてきたもの——の意味について混乱を招いている。LLMの能力に対する一つの説明は、それらが次のトークン予測を通じて世界のモデルを帰納しているという新興の理論から来ている。この理論の支持者は、最先端のLLMが様々なベンチマークで示す卓越した能力、大規模モデルが類似した内部表現に収束すること、そして彼らが好む「言語は現実の構造を映し出す」という考えの解釈を引用する。この考えは少なくともプラトン、ウィトゲンシュタイン、フーコー、エーコによって支持されてきた概念だ。私は一般的に研究のインスピレーションを得るために難解な文献を掘り起こすことを支持するが、この比喩があまりにも文字通りに受け取られていることを懸念している。LLMは本当に世界の暗黙のモデルを学習しているのか？ そうでなければ、どうしてそれほど言語に熟達できるのだろうか？ LLMの世界モデリング仮説を支持する証拠の一つは、オセロ論文である。研究者たちは、合法手の系列で訓練されたトランスフォーマーモデルの隠れ状態からオセロゲームの盤面を予測することができた。しかし、これらの結果を自然言語モデルに一般化するには多くの問題がある。一つには、オセロの手はオセロ盤の完全な状態を推定するために使用できることが証明可能であるのに対し、物理世界の完全な絵を言語記述から推論できると信じる理由はない。オセロゲームが物理世界の多くのタスクと異なる点は、オセロが根本的に記号の世界に存在し、単に人間がプレイしやすいように物理的なトークンを使って実装されていることだ。オセロの完全なゲームはペンと紙だけでプレイできるが、例えば、ペンと紙だけで床を掃いたり、皿洗いをしたり、車を運転したりすることはできない。そのようなタスクを解決するには、人間が単に語ること以上の、世界に関する何らかの物理的概念が必要だ。その世界概念が形式的な世界モデルにエンコードされるか、例えば価値関数にエンコードされるかは議論の余地があるが、物理世界には記号システムでは完全に表現できず、単なる記号操作では解決できない問題が多くあることは明らかだ。 メラニー・ミッチェルの最近の記事で述べられ、この論文によって支持されているもう一つの問題は、生成モデルが、そのような系列データを生み出した世界のモデルを学習することなく（例えば、包括的な一連の特異的なヒューリスティックを学習することで）、系列予測タスクで驚くほど高いスコアを獲得できるという証拠があることだ。例えば、このブログ記事で指摘されたように、OthelloGPTは、実際にはすべての可能なオセロゲームに当てはまらない系列予測ルールを学習した。例えば「入力文字列でA4の前にB4のトークンが現れない場合、B4は空である」といったルールだ。世界モデルが世界の次の状態をどのように予測するかは重要でないと主張することはできるが、その予測がそのようなデータを生み出した根底にある世界よりも、訓練データのより良い理解を反映している場合には、疑念を抱かせるべきだ。これは残念ながら、次のトークン予測という目的の中心的な欠陥であり、この目的は次のトークンの予測に関連する情報のみを保持しようとする。もし世界モデルよりも学習しやすい何かでそれができるなら、おそらくそうなるだろう。 以前の記号が後の記号に及ぼす影響を予測することが、人間が知覚から生成するような世界モデルを必要とすると、留保なく主張することは、「世界モデル」という概念を濫用することになる。世界が何であるかについて意見が一致しない限り、真の世界モデルは、状態の履歴が与えられたときに物理世界の次の状態を予測するために使用できるはずだことは明らかであるべきだ。物理世界の高忠実度観測を予測する同様の世界モデルは、モデルベース強化学習、ロボティクスにおけるタスク・動作計画、因果的世界モデリング、コンピュータビジョンの分野など、AIの多くのサブフィールドで活用され、物理的現実に具体化された問題を解決している。LLMは、あなたの人、場所、物がブレッドボックスより大きいかどうかを尋ねるとき、その潜在的な次トークン計算の中で物理シミュレーションを実行しているわけではない。実際、私はLLMの振る舞いは学習された世界モデルによるものではなく、記号の振る舞いを支配する理解しがたいほど抽象的な規則の力任せの記憶、すなわち統語論のモデルによるものだと推測する。 統語論は、様々な文法カテゴリー（例：品詞）の単語がどのように組み合わされて文になり、統語木に解析できるかを研究する言語学の一分野である。統語論は文の構造と、それを構成する品詞の原子的部分を研究する。 意味論は、文の文字通りの意味に関わるもう一つの分野である。例えば、「寒いです」を「あなたが寒さを経験している」という考えにまとめること。意味論は言語を文字通りの意味、つまり世界や人間の経験に関する情報に還元する。 語用論は、物理的および会話的文脈が音声相互作用に及ぼす相互関係を研究する。例えば、誰かに「寒いです」と言ったとき、その人が半開きの窓を閉めるべきだと知ることなど。語用論には、環境や他のエージェントの意図、隠された知識について推論しながら発話を解釈することが含まれる。 あまり技術的になりすぎずに、ある程度分離されたシステムの直感的な証拠がある。

AGIはマルチモーダルではない

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト