SAE はニューラル幾何学を捉えられるか？（6 分読了）

スパースオートエンコーダー（SAE）は、シャッターリング、コンパクトキャプチャー、ディリューションなど、いくつかの異なる手法を用いて曲がった多様体を表現することで、ニューラル幾何学の探索を支援できます。この研究では、各 SAE 特徴量が全体多様体の一部のみを表しており、全体の構造を理解するには特徴量のクラスタリングが必要であることが示されました。これらの知見を活用した教師なしパイプラインは、内部の幾何学的構造をネットワーク自身の条件で再構築することで、ニューラルネットワークに対する理解を深める可能性があります。

翻訳全文