1件の記事
記事は、過剰パラメータ化されたニューラルネットワークがゼロに近い学習損失でデータを適合させつつ、テストデータでも良好な汎化性能を発揮する現象を説明する。ランダム初期化から始まり、パラメータ数がデータ数を上回る場合でも最適化プロセスが一貫して良好な結果をもたらす理由について、ニューラル正接カーネル(NTK)の数学的基盤に焦点を当てて解説している。