DiScoFormer：分布をまたぐ密度とスコア推定のための単一トランスフォーマー

機械学習や科学の多くの問題は、同じ課題に帰着します。つまり、データポイントの集合があり、その背後にある分布を復元したいというものです。どの値が一般的で、どの値が稀なのかを特定することです。その分布を特定するには、2 つの量を推定する必要があります。それは分布の密度と、次元数が増大するほどより有用となるそのスコアです。密度はヒストグラムの滑らかなバージョンであり、ポイントが集まる場所では高く、希少な場所では低くなります。スコア（対数密度の勾配）は、密度が最も急激に上昇する方向を示します。ポイントをスコアの方向に沿って移動させると、より確率の高い領域へと向かいます。 拡散ベースの生成モデル（Stable Diffusion や DALL-E などの AI 画像生成器の背後にある技術）は、ランダムなノイズから始まり、スコアを繰り返し追跡することで、そのノイズを実写のような画像に変換します。同じスコアがベイズサンプリングや、プラズマなどのシステムをモデル化するために用いられる粒子シミュレーションを駆動しています。 有限のサンプルから密度とスコアを抽出するのは困難であり、現在のツールは一般化性と精度の間でトレードオフを強いる。古典的なアプローチの一つであるカーネル密度推定（KDE）では、データ点の周囲の情報に基づいて任意の位置での密度を計算する：点が近接しておりかつ多数あるほど、密度は高くなる。これは学習を必要とせずあらゆる分布に適用可能だが、次元数が増大すると精度が急激に低下する。一方、スコアを予測するように訓練されたニューラル・スコアマッチングモデルは高次元でも精度を保つが、各モデルは特定の分布を学習する必要があり、別の分布に対しては最初から再訓練しなければならない。 我々は、データ点のセットを与えられた際に、再学習なしで単一の順方向パスを通じて分布の密度とスコアの両方を推定する新しい解決策「DiScoFormer（Density and Score Transformer）」を紹介する。このモデルは、Transformer ブロックを積み重ねた構造を用いて、サンプル全体から背後にある分布の密度とスコアをマッピングする。本モデルはクロスアテンションを活用しており、データが存在する点だけでなく任意の点での密度とスコアの評価が可能である。スコアと密度には数学的な関係があり、スコアは密度の対数の勾配として定義される。我々はこれを活用し、密度用とスコア用の 2 つの出力ヘッドを備えた共有バックボーンを採用している。 この結合はパラメータの節約以上の意味を持ちます。スコアヘッドは、すべてのクエリにおいて対数密度ヘッドの勾配と一致しなければならないため、両者の間のギャップはラベルなしの一貫性損失となります。私たちはこれを推論時に利用します——コンテキストを固定し、その一貫性損失に対して数回の勾配ステップを実行するだけで、DiScoFormer は即座に分布外入力に適応します。真の密度やスコアは必要ありません。 トランスフォーマーアーキテクチャがこのタスクに適しているのには数学的な理由があります。カーネル密度推定では、単一のバンド幅（各点の影響が及ぶ範囲）しか存在せず、これは事前に固定され、どこでも同一に適用されます。アテンションはこれの厳密な一般化です：私たちは解析的に示します、単一のアテンションヘッドの重みはデータ上においてほぼガウスカーネルであるため、1 つのクロスアテンションブロックだけで既に KDE の密度とスコアを再現できるのです。そこからモデルはさらに進み、複数のそのようなスケールを同時に学習し、データを適応させます。DiScoFormer は古典的手法をブラックボックスとして捨てるのではなく、代わりに KDE を特別なケースとして包含し、それを改善するものです。 DiScoFormer の訓練にはどのようなデータを使用したのでしょうか？私たちは、2 つの主要な理由からガウス混合モデル（Gaussian Mixture Models）を利用しました。第一に、GMM は普遍的な密度近似器であり、成分数を十分に増やすことで、任意の滑らかな分布を極めて小さな誤差で近似できます。第二に、GMM は解析的な密度関数とスコア関数を持つため、常に厳密な目標値を用意して監督学習を行うことができます。私たちはこれらの特性を活用し、バッチごとに新しい GMM を生成することで、モデルに対して事実上無制限のターゲット分布例を提供し、各サンプルを対応する GMM の厳密な密度およびスコアに基づいて監督します。 ## Performance 総合的に見ると、DiScoFormer は密度推定とスコア推定の両方でカーネル密度推定（KDE）を上回っており、特に KDE が苦手とする領域でその差が顕著に広がります。100 次元のデータにおいては、その差は歴然としており、最良の手動調整済み KDE と比較しても、スコア誤差を約 6.5 倍、密度誤差を 37 倍以上削減しています。さらにサンプル数を増やすにつれて性能が向上し続ける一方で、KDE はメモリ不足に陥ってしまいます。また、学習データの外側にある分布に対しても優れた性能を発揮し、学習時に経験した以上のモード数を持つ混合分布や、ラプラス分布や学生 t 分布のような非ガウス型の形状においても正確な推定を維持します。KDE の主な利点は依然として速度にあり、特にデータセットが小さい場合にその優位性が際立ちます。 DiScoFormer の中で最も有望だと私たちが考える点は、スコア推定が生成モデル、ベイズ推論、科学計算など多くの分野に共通する依存関係であることです。高次元でも精度を保ち、問題ごとに再学習する必要をなくす事前学習済みでプラグイン型の推定器があれば、これらすべての分野におけるコストを同時に削減できる可能性があります。つまり、スコアと密度が現れるあらゆる場所で再利用される単一のモデルです。 詳細については、[技術報告書](https://arxiv.org/pdf/2511.05924)をお読みいただくことをお勧めします。 最新の Ai2 のニュースに関する月次更新を受け取るには、購読してください。

DiScoFormer：分布をまたぐ密度とスコア推定のための単一トランスフォーマー

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト