DiScoFormer：分布を超えた密度とスコアを扱う単一のトランスフォーマー

[Back to Articles](https://huggingface.co/blog) - Training a transformer for density and score estimation - Performance **📄 Tech report:** [arxiv.org/abs/2511.05924](https://arxiv.org/abs/2511.05924) 機械学習や科学の多くの問題は、同じ課題に帰着します。つまり、データポイントの集合があり、その背後にある分布を復元したいというものです。どの値が一般的で、どの値が稀なのかを特定することです。その分布を特定するには、2 つの量を推定する必要があります。それは分布の密度と、次元数が増大するほど有用となるスコアです。密度はヒストグラムの滑らかなバージョンであり、ポイントが集まる場所では高く、少ない場所では低くなります。スコア（対数密度の勾配）は、密度が最も急激に上昇する方向を示します。ポイントをスコアの方向に沿って移動させると、より確率の高い領域へと向かいます。 拡散ベースの生成モデル（Stable Diffusion や DALL-E などの AI 画像生成器の背後にある技術）は、ランダムなノイズから始まり、スコアを繰り返し追跡することで、そのノイズを実写のような画像に変換します。同じスコアがベイズサンプリングや、プラズマなどのシステムをモデル化するために用いられる粒子シミュレーションを駆動しています。 有限のサンプルから密度とスコアを抽出するのは困難であり、現在のツールは一般化性と精度の間でトレードオフを強いる。古典的なアプローチの一つであるカーネル密度推定（KDE）では、データ点の周囲の情報に基づいて任意の位置での密度を計算する：点が近接しておりかつ多数あるほど、密度は高くなる。これは学習を必要とせずあらゆる分布に適用可能だが、次元数が増大すると精度が急激に低下する。一方、スコアを予測するように訓練されたニューラル・スコアマッチングモデルは高次元でも精度を保つが、各モデルは特定の分布を学習する必要があり、別の分布には最初から再訓練しなければならない。 我々は、DiScoFormer（Density and Score Transformer）と呼ばれる新しい解決策を導入する。これは単一のモデルであり、データ点のセットを与えられた場合、再訓練なしで単一の前向きパスを通じて分布の密度とスコアの両方を推定する。 ## 密度およびスコア推定のためのトランスフォーマーの訓練 DiScoFormer は、積み重ねられたトランスフォーマーブロック層を用いて、サンプル全体を背後にある分布の密度およびスコアにマッピングする。このモデルはクロスアテンション（cross-attention）を利用しており、データが存在する場所だけでなく任意の点での密度とスコアを評価可能にする。スコアと密度には数学的な関係があり、スコアは密度の対数の勾配である。我々はこれを活用し、密度用とスコア用の2つの出力ヘッドを持つ共有バックボーンを採用している。 この結合はパラメータの節約以上の意味を持ちます。スコアヘッドは、すべてのクエリにおいて対数密度ヘッドの勾配と一致しなければならないため、両者の間のギャップはラベルなしの一貫性損失となります。私たちはこれを推論時に利用します——コンテキストを固定し、その一貫性損失に対して数回の勾配ステップを実行するだけで、DiScoFormer は即座に分布外入力に適応します。真の密度やスコアは必要ありません。 トランスフォーマーアーキテクチャがこのタスクに適しているのには数学的な理由があります。カーネル密度推定では、単一のバンド幅（各点の影響が及ぶ範囲）しか存在せず、これは事前に固定され、どこでも同一に適用されます。アテンションはこれの厳密な一般化です：私たちは解析的に示します、単一のアテンションヘッドの重みはデータ上においてほぼガウスカーネルであるため、1 つのクロスアテンションブロックだけで既に KDE の密度とスコアを再現できるのです。そこからモデルはさらに進み、複数のそのようなスケールを同時に学習し、データを適応させます。DiScoFormer は古典的手法をブラックボックスとして捨てるのではなく、代わりに KDE を特殊ケースとして包含し、それを改善するものです。 DiScoFormer の訓練にはどのようなデータを使用したのでしょうか？私たちは、2 つの主要な理由からガウス混合モデル（Gaussian Mixture Models）を利用しました。第一に、GMM は普遍的な密度近似器であり、成分数を十分に増やすことで、任意の滑らかな分布を極めて小さな誤差で近似できます。第二に、GMM は解析的な密度関数とスコア関数を持つため、常に厳密な目標値を教師信号として利用できます。私たちはこれらの特性を活用し、バッチごとに新しい GMM を生成することで、モデルに対して事実上無制限のターゲット分布例を提供し、各サンプルを対応する GMM の厳密な密度およびスコアで監督学習します。 ## Performance 総合的に見ると、DiScoFormer は密度推定とスコア推定の両方でカーネル密度推定（KDE）を上回っており、特に KDE が苦手とする領域でその差が顕著に広がります。100 次元のデータにおいては、その差は甚だしく、最も手調整された KDE と比較しても、スコア誤差を約 6.5 倍、密度誤差を 37 倍以上削減します。さらにサンプル数を増やすにつれて性能が向上し続ける一方、KDE はメモリ不足に陥ってしまいます。また、学習データの外側にある分布に対しても優れた性能を発揮し、学習時に経験した以上のモード数を持つ混合分布や、ラプラス分布や Student-t 分布のような非ガウス型の形状においても正確な推定を維持します。KDE の主な利点は依然として速度にあり、特にデータセットが小さい場合にその優位性が顕著です。 DiScoFormer の中で最も有望だと私たちが考える点は、スコア推定が生成モデル、ベイズ推論、科学計算など多くの分野に共通する依存関係であることです。高次元でも精度を保ち、問題ごとに再学習する必要をなくす事前学習済みでプラグイン型の推定器があれば、これらすべての分野におけるコストを一度に削減できる可能性があります。つまり、スコアと密度が現れるあらゆる場所で再利用される単一のモデルです。 詳細については、[技術報告書](https://arxiv.org/pdf/2511.05924)をお読みいただくことをお勧めします。

DiScoFormer：分布を超えた密度とスコアを扱う単一のトランスフォーマー

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト