知性はパラメータ数ではなく時間についてである

知能はパラメータ数ではない。それは時間の問題だ。 AIモデルが大きくなるにつれ、洞察力は深まらず、むしろ浅くなる。継続的な学習を保証するには、推論時間を短縮する必要がある。 共有 共有 リンクをコピー ![](https://assets.amazon.science/dims4/default/620f7a6/2147483647/strip/true/crop/200x200+0+0/resize/295x295!/quality/90/?url=http%3A%2F%2Famazon-topics-brightspot.s3.amazonaws.com%2Fscience%2F60%2Fa3%2Fbd2fb15fe3687f755d7d8dcfa58c%2Fintelligence-isnt-about-parameter-count-its-about-timeqrcode) 大規模言語モデル（LLM）に複雑な多項式方程式を解くよう促すと、単に答えを返すだけでなく、「思考の連鎖」を使って解決策を導き出す。ある意味で、LLMはコンピュータ、つまり解を計算する機械のように振る舞う。しかし、この機械は約90年前にアラン・チューリングが普遍的な計算モデルとして記述したものとはかなり異なる。 ![](data:image/svg+xml;base64,PHN2ZyB4bWxucz0iaHR0cDovL3d3dy53My5vcmcvMjAwMC9zdmciIHZlcnNpb249IjEuMSIgaGVpZ2h0PSI4MDBweCIgd2lkdGg9IjEyMDBweCI+PC9zdmc+) ステファノ・ソアットは、Amazon Web Services（AWS）エージェンティックAI組織のバイスプレジデント兼ディスティングイッシュトサイエンティストである。 LLMはどのような意味でコンピュータと見なせるのか？ チューリングマシンのように、あらゆる計算可能なタスクを解決できる、つまり普遍的になり得るのか？ もしそうなら、有限のデータからその能力をどのように学習するのか？ 現在の機械学習理論はこれらの問いに答えるのにほとんど役立たないため、新しいツールが必要だ。以前のAmazon Scienceの記事で、我々は、AIエージェントとそれを駆動するLLMは、古典的な機械学習理論の枠組みで帰納的に訓練されているにもかかわらず、トランスダクティブ（変換的）推論エンジンであると論じた。帰納は一般化、すなわち過去のデータに対する振る舞いを将来のデータにも適用できる能力を求める。一般化を達成するには、記憶化、すなわち訓練データへの過学習を避けなければならない。 これは理論上、過去と未来のデータが同じ分布から抽出されるという条件下では機能する。しかし実際には、そのような条件を検証することはできず、一般的に、ビジネス、金融、気候科学、さらには言語における高価値なデータには適用されない。そのため、LLMが一般的な計算可能なタスクを検証可能な形で解決する方法をどのように学習するのかを説明する手がかりがない。 それに対してトランスダクションでは、過去のデータを通じて推論し、新たな問題に対する解決策を考案することを目指す。トランスダクションは、過去の解決策が一般化することを期待して適用することではない。むしろ、新たな解決策を推論する際に重要な記憶の部分を検索できることである。トランスダクションにおいて、記憶化は汚点ではなく価値である。トランスダクティブ推論の際に、テストデータと記憶を併用して解決策を考案することは、過学習ではなく、適応的でクエリ固有の計算、すなわち推論である。 帰納的一般化は、時間に迫られたときに取らざるを得ない振る舞いの一種である。このような自動的で反応的な振る舞いは、認知心理学では時に「システム1」と呼ばれる。一方、トランスダクションでは、すべてのデータを検討し、クエリ固有の可変長の推論時間計算、つまりLLMにおける思考の連鎖推論（その長さはクエリの複雑さに依存する）を実行する必要がある。このような熟慮的な振る舞いはしばしば「システム2」と呼ばれ、学習を通じて育成したいものである。この意味で、トランスダクティブ学習は、メタ学習、すなわち推論することを学習する特定の形態である。 1964年、レイ・ソロモノフは、記憶と時間が無限であると仮定すれば、トランスダクティブ推論を通じてあらゆる問題を解決する普遍的に最適なアルゴリズムを記述した。それは、チューリングマシンを通じてすべてのプログラムを実行し、観測されたデータを再現するプログラムの結果を平均するというものだ。それは普遍的に最適な答えを与えるが、一般的に無限の時間がかかる。では、普遍的に最適であるだけでなく、普遍的に高速なアルゴリズムが欲しい場合はどうか？ 1973年、レオニード・レヴィンは、NP完全性の概念を導入した同じ論文で、そのようなアルゴリズムを導出した。残念ながら、レヴィンのいわゆる普遍探索は実用的ではなく、LLMを理解するのにも役立たない。一つの理由は、学習を含まないことだ。それでもレヴィンは、計算タスクを解決する際の時間の重要性を指摘した。その後、1986年にソロモノフは、学習が時間短縮にどのように役立つかを示唆した。 新しい論文で、我々はこれらのアイデアを拡張し、推論時間を短縮することが、訓練されたモデルにトランスダクティブに、すなわち推論するように作用することを示す。推論時間を短縮しようと努めることで、モデルは訓練データの統計的構造だけでなく、そのアルゴリズム的構造も学習する。そして、学習したアルゴリズム的手法を無限の方法で再結合し、任意の新たな問題に対処できるようになる。 この洞察は、AIモデルの設計と訓練の方法に影響を与える。特に、モデルは推論時間における追加コストの限界価値を予測するように設計されるべきであり、その訓練目標には複雑性コストを含め、推論中に時間を最小化するように強制すべきである。 この学習アプローチは、古典的な統計的学習理論を覆す。古典的な統計的学習理論では、最大の危険は過学習であるため、目標は解を正則化すること、すなわち訓練済みモデルが過去のデータから保持する情報（訓練損失を減らすために必要なものを超えて）を最小化することだ。一方、トランスダクティブ推論では、将来の問題解決に役立つ可能性があるため、保持される情報を最大化することが目標となる。 スケーリング則の逆転 ここ数年におけるLLMの性能向上は、主にスケーリング、つまりモデルパラメータ数の増加によるベンチマークデータセットでの精度向上によってもたらされてきた。これにより、モデルのパラメータ数をさらに増やすことで、AIモデルの認知能力が人間の創造者を超える「超知能」の時代が到来するかもしれないと多くの人が推測するようになった。 我々の論文では、その逆を主張する。ある複雑さを超えると、AIモデルは我々がサヴァン領域と呼ぶ状態に入り、学習が不要になり、ベンチマークでのより良い性能は「洞察力」の低下とともに訪れる。その極限が、ソロモノフが1964年に記述したアルゴリズムであり、あらゆるタスクが力任せに解決される。 では、スケールが知能につながらないなら、何が知能につながるのか？ 我々は、その答えは時間であると主張する。 これはある程度直感的に納得できる答えだ。知能の概念は根本的に主観的で環境に依存する。しかし、知能を特徴づけることは難しくても、その不在を特徴づけることはそれほど難しくない。環境の速度に適応できないことは、我々が非知能の特性（TONI）と呼ぶ多くの振る舞いの一つである。TONIとは、それが存在すると、どのように定義しようとも知能を否定するような振る舞いのことだ。 多くのTONIは時間に制約される。同じタスクの繰り返しインスタンスを解決するのに、同じ量の（最小限でない）時間とエネルギーを費やし、より良い結果を得られないことはTONIである。目標に見合ったリソースを割り当てられず、些細なタスクと複雑なタスクに同じ労力を費やすこともTONIである。宇宙の寿命よりも長くかかることがわかっているタスクを開始し、何らかの使用可能な答えを出すことも別のTONIだろう。 この直感に基づいて、AIモデルにおける知能と時間の関係をどのように定量化するか？ 第一歩は、モデルのパラメータに含まれる情報量を評価することだ。そうすれば、時間制約の課与によってそれがどのように影響を受けるかがわかる。 アルゴリズム的情報 情報を測定する標準的な方法は、クロード・シャノンが1948年の画期的な論文で提案したもので、これは本質的に情報理論の分野を創設した。シャノンは、確率変数の情報量をその分布のエントロピーとして定義した。その値についての不確実性が大きいほど、情報量は高くなる。 しかし、この定義では、与えられたデータサンプルの情報量は、サンプル自体の特性ではなく、それが生成された確率過程の特性である。

知性はパラメータ数ではなく時間についてである

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト