モジュラー多様体

# モジュラーマニフォールド：ニューラルネットワークの重み行列を制約する新たなアプローチ 大規模ニューラルネットワークの訓練においては、ネットワーク内のテンソル（重み、活性化、勾配）が大きすぎたり小さすぎたりしないよう、健全な状態を保つ必要がある。テンソルのサイズが極端になると、数値的アンダーフローやオーバーフローに限らず、様々な問題を引き起こす。例えば、重み行列のサイズが訓練中に変化すると、重み更新の相対的な大きさが学習速度に大きく影響するため、訓練アルゴリズムの設計が難しくなる。 テンソルを健全に保つための標準的な手法は**正規化**である。活性化ベクトルに対しては、レイヤーノームなどの技術を用いて、次の層に渡す前に適切なスケールに調整することが一般的だ。また、勾配更新の正規化も広く行われており、Muonオプティマイザのような高速な訓練アルゴリズムは、更新をスペクトル正規化していると解釈できる。正規化は、ネットワーク内部のテンソルサイズについて確実性をもたらし、多くの相互作用するコンポーネントからなる大規模ネットワークの訓練においては、この確実性が非常に価値がある。 一方、**重み行列への正規化**は、全く聞かないわけではないが、より稀である。例えば、EDM2拡散モデルのコードベースでは重み制約が用いられ、論文ではその利点が報告されている。また、BiTでは重み標準化が採用されている。他にも様々な手法が提案されてはいるが、現代の大規模訓練では一般的な慣行にはなっていない。重み行列を正規化することには、いくつかの利点が考えられる。重み制約は、最適化更新の相対的なサイズを理解しやすくし、重みノルムが爆発する問題を除去する。また、サイズが最も重要なテンソルにハイパーパラメータ調整の努力を集中させることができ、条件数を小さく保つことで行列の挙動をより予測可能にする。関連して、摂動に対するロバスト性のためのリプシッツ保証を容易にする。 本記事では、ニューラルネットワークの重み行列を制約する一つの魅力的な方法として、各層でテンソルを**部分多様体**上に制限するアプローチを紹介する。これにより、多様体制約と最適化アルゴリズムを共同設計するという、最適化の考え方そのものを再構築する道が開ける。具体例として、重みが単位条件数を持つ行列の多様体である**シュティーフェル多様体**に制約された、Muonオプティマイザの多様体版を提案する。最後に、**モジュラーマニフォールド**の概念を定義する。これは、大規模ネットワークのスケールアップと訓練を容易にすることを目指した、構成可能な多様体である。 要約すると、重み行列を多様体に制約することは、ネットワークの挙動をより予測可能かつ安定させ、最適化プロセスを改善する有望な研究領域である。このアプローチは、大規模ニューラルネットワークの訓練の信頼性

モジュラー多様体

背景や根拠まで確認しますか？

調べる

選ぶ

サイト