形状、対称性、構造：機械学習研究における数学の役割の変化

形状、対称性、構造：機械学習研究における数学の役割の変遷 現代機械学習における数学の役割とは何か？ 過去10年間で、機械学習における進歩の生み出され方が変化してきた。数学的に原理立てて慎重に設計されたアーキテクチャを用いた研究は、わずかな改善しかもたらさない一方で、計算集約的でエンジニアリングを優先し、より大規模なトレーニングデータセットとモデルパラメータ数へとスケールさせた取り組みは、既存の理論では予測されなかった驚くべき新たな能力を生み出している。かつて機械学習研究の主要な指針であった数学と統計学は、今や最新のブレークスルーに即座に洞察を与えることに苦労している。機械学習における経験的な進歩が、より理論に動機づけられたアプローチを追い越したのはこれが初めてではないが、近年の進歩の規模は、私たちに「苦い教訓」の苦い現実を再び飲み込むことを強いている[1]。 この変化は、今後における機械学習研究での数学の役割低下についての憶測を促している。数学が、より広範な視点（例えば、還元不可能に複雑なシステムについて結論を導く深い経験を持つ生物学や、AIが社会にますます深く統合されるにつれての社会科学など）と舞台を共有せざるを得なくなることは、すでに明らかである。機械学習のますます学際的な性質は、すべての研究者によって前向きな発展として歓迎されるべきである。 しかし、私たちは、数学がこれまでと同様に関連性を保っていると主張する。その役割が単に進化しているだけなのである。例えば、数学がかつては主にモデル性能に関する理論的保証を提供していたかもしれないが、近い将来、モデルのトレーニングや性能で観察される経験的現象の事後説明により一般的に使用されるようになるかもしれない。これは、物理学において果たす役割と類似したものである。同様に、数学的直感がかつては手作りの特徴量やアーキテクチャの詳細な設計を細部まで導いていたかもしれないが、その使用は、アーキテクチャを基礎となるタスク構造やデータの対称性に適合させるといった、より高レベルの設計選択へと移行するかもしれない。 これはどれも完全に新しいことではない。数学は常に機械学習において複数の目的を果たしてきた。結局のところ、上述のアーキテクチャがデータの対称性に適合するという考えを体現する、並進等価性を持つ畳み込みニューラルネットワークは、今や40年以上前のものである。変化しているのは、数学が最大の影響を与える問題の種類と、それが最も一般的に適用される方法である。 スケールへの移行の興味深い帰結の一つは、機械学習に適用可能な数学の分野の範囲が広がったことである。トポロジー、代数学、幾何学といった「純粋」数学の領域が、確率論、解析学、線形代数といったより伝統的に応用されてきた分野に加わりつつある。これらの純粋分野は、高いレベルの抽象性と複雑さを扱うために前世紀にわたって成長・発展し、数学者が一見人間の直感を超えているように見える空間、代数的対象、組み合わせ的プロセスについての発見をするのを助けてきた。これらの能力は、現代の深層学習における多くの最大の課題に対処することを約束している。 本記事では、数学が機械学習における発見と理解のプロセスを導く持続的な能力を示す、現在の研究のいくつかの領域を探求する。 図1：数学は、ReLUベースのニューラルネットワークが入力空間を無数の多角形領域に分割する方法を明らかにすることができる。各領域においてモデルは線形写像のように振る舞う[2, 3, 4]。これらの分解は美しいパターンを作り出す。（図はSplineCam [5]で作成）。 針の刺し傷から象を描写する 50層、70億パラメータのニューラルネットワークを与えられ、それを分析するように求められたとしよう。どこから始めるだろうか？標準的な手順は、関連する性能統計量を計算することだろう。例えば、一連の評価ベンチマークにおける精度などである。特定の状況では、これで十分かもしれない。しかし、深層学習モデルは複雑で多面的である。同じ精度を持つ2つのコンピュータビジョンモデルでも、分布外データへの汎化性能、キャリブレーション、敵対的ロバストネス、その他多くの実世界アプリケーションで重要な「二次統計量」が大きく異なる可能性がある。これを超えて、深層学習を完全に科学的に理解するためには、評価スコアの彼方を探求する必要があるという証拠がすべて示唆している。確かに、単一の数値（例：IQ、身長）で人間性のすべての次元を捉えることが不可能であるのと同様に、1つまたはいくつかの統計量だけでモデルを理解しようとすることは、根本的に限界がある。 人間を理解することとモデルを理解することの一つの違いは、私たちはモデルのすべてのパラメータと、モデル内で発生するすべての個々の計算に容易にアクセスできることである。実際、モデルの隠れ層の活性化を抽出することで、モデルが生の入力を予測に変換するプロセスを直接たどることができる。残念ながら、隠れ層の活性化の世界は、単純なモデル性能統計量の世界よりもはるかに扱いにくい。初期入力と同様に、隠れ層の活性化は通常高次元であるが、入力データとは異なり、人間が理解できる形で構造化されていない。さらに高次元に足を踏み入れるなら、モデルの重みを直接通してモデルを理解しようと試みることもできる。ここでは、モデル重みの空間において、私たちは単一出発点から数百万から数十億の直交方向に自由に移動することができる。これらの世界をどう理解し始めればよいのだろうか？ 3人の盲人が象の異なる部分を触るというよく知られた寓話がある。それぞれがその動物について与える説明は全く異なり、各人が触った体の部分のみを反映している。私たちは、少なくとも手を使って象の体の部分のかなりの部分を感じることができる盲人とは異なり、モデルの隠れ層の活性化と重みを分析する現在の方法は、一本の針の触感から象を描写しようとするようなものだと主張する。 可視化できないものを特徴づける道具 数学者がもっぱら問題解決に焦点を当てているという一般的な認識にもかかわらず、研究数学の多くは、そもそもどのような問いを立てるべきかを理解することに関わっている。これは自然なことである。なぜなら、数学者が研究する対象の多くは日常の経験からかけ離れているため、私たちが実際に理解できることについての直感が非常に限られた状態で始めるからである。既存の直感を活用し、理解を深める扱いやすい結果を得ることを可能にする道具を構築するには、しばしば相当な努力が必要とされる。回転の概念はこの状況の良い例を提供する。なぜなら、これらは2次元や3次元では非常に身近であるが、次元が大きくなるにつれて日常の直感からますます遠ざかるからである。後者の場合、これらが実際に何であるかについてより全体的な視点を得るために、純粋数学が提供する異なる視点がますます重要になる。 線形代数を少し知っている人は、回転が高次元に一般化され、$n$次元では行列式が$1$の$n \times n$直交行列によって実現できることを思い出すだろう。これらの集合は一般に$SO(n)$と表記され、特殊直交群と呼ばれる。すべての$n$次元回転の集合を理解したいとしよう。これを行うには多くの相補的なアプローチがある。$SO(n)$内のすべての行列の線形代数的構造を探求することも、各要素が$\mathbb{R}^n$に作用する演算子としてどのように振る舞うかに基づいて$SO(n)$を研究することもできる。 あるいは、私たちの生来の空間的直感を使って$SO(n)$を理解しようと試みることもできる。これは数学において強力な視点であることがわかっている。任意の次元$n$において、$SO(n)$は多様体と呼ばれる幾何学的対象である。非常に大まかに言えば、局所的にはユークリッド空間のように見えるが、引き離して見るとねじれや穴、その他の非ユークリッド的な特徴を持つかもしれない空間である。

形状、対称性、構造：機械学習研究における数学の役割の変化

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト