DiScoFormer：分布を横断して密度とスコアを推定する単一のトランスフォーマー（5 分読了）

[記事一覧に戻る](https://huggingface.co/blog) - 密度推定とスコア推定の両方に対応するトランスフォーマーのトレーニング - パフォーマンス **📄 テクニカルレポート:** [arxiv.org/abs/2511.05924](https://arxiv.org/abs/2511.05924) 機械学習や科学分野における多くの問題は、同じ課題に帰着します。つまり、データポイントの集合があり、その背後にある分布を復元したいというものです。どの値が一般的で、どの値が稀なのかを特定することです。その分布を特定するには、2 つの量を推定する必要があります。それは分布の密度と、次元数が増大するほど有用となるスコアです。密度はヒストグラムの滑らかなバージョンであり、ポイントが集まる場所では高く、少ない場所では低くなります。スコア（対数密度の勾配）は、密度が最も急激に上昇する方向を示します。ポイントをスコアの方向に沿って移動させると、より確率の高い領域へと向かいます。 拡散に基づく生成モデル（Stable Diffusion や DALL-E などの AI 画像生成器の背後にある技術）は、ランダムなノイズから始まり、スコアを繰り返し追跡することで、そのノイズを実写のような画像に変換します。同じスコアがベイズサンプリングや、プラズマなどのシステムをモデル化するために用いられる粒子シミュレーションを駆動しています。 有限のサンプルから密度とスコアを抽出するのは困難であり、現在のツールは一般化性と精度の間でトレードオフを強いる。古典的なアプローチの一つであるカーネル密度推定（KDE）では、データ点の周囲の情報に基づいて任意の位置での密度を計算する：点が近接しておりかつ多数あるほど、密度は高くなる。これは学習を必要とせずあらゆる分布に適用可能だが、次元数が増大すると精度が急激に低下する。一方、スコアを予測するように訓練されたニューラル・スコアマッチングモデルは高次元でも精度を保つが、各モデルは特定の分布を学習する必要があり、別の分布に対しては最初から再訓練しなければならない。 我々は、DiScoFormer（Density and Score Transformer）と呼ばれる新しいソリューションを紹介する。これは単一のモデルであり、データ点のセットを与えられれば、再訓練を行うことなく単一の前向きパスで分布の密度とスコアの両方を推定できる。 ## 密度およびスコア推定のためのトランスフォーマーの訓練 DiScoFormer は、積み重ねられたトランスフォーマーブロック層を用いて、サンプル全体を背後にある分布の密度およびスコアにマッピングする。このモデルはクロスアテンション（cross-attention）を利用しており、データが存在する場所だけでなく、任意の点における密度とスコアを評価可能にする。スコアと密度には数学的な関係があり、スコアは密度の対数の勾配である。我々はこれを活用し、密度用とスコア用の2つの出力ヘッドを持つ共有バックボーンを採用している。 この結合はパラメータの節約以上の効果を持ちます。スコアヘッドは、すべてのクエリにおいて対数密度ヘッドの勾配と一致しなければならないため、両者の間のギャップはラベルなしの一貫性損失となります。私たちはこれを推論時に利用します。コンテキストを固定し、その一貫性損失に対して数回の勾配ステップを実行するだけで、DiScoFormer は即座に分布外入力に適応します。真の密度やスコアは必要ありません。 トランスフォーマーアーキテクチャがこのタスクに適しているのには数学的な理由があります。カーネル密度推定（Kernel Density Estimation: KDE）では、単一のバンド幅（各点の影響が及ぶ範囲）しか存在せず、これは事前に固定され、どこでも同じように適用されます。アテンションはこれの厳密な一般化です：私たちは解析的に示します。単一のアテンションヘッドの重みは、データ上においてほぼガウスカーネルであるため、1 つのクロスアテンションブロックで既に KDE の密度とスコアを再現できるのです。そこからモデルはさらに進み、複数のスケールを同時に学習し、データを適応させます。DiScoFormer は古典的手法をブラックボックスとして捨てるのではなく、KDE を特別なケースとして包含し、それを改善するものです。 DiScoFormer の訓練に使用したデータは何でしょうか？私たちは、2 つの主要な理由からガウス混合モデル（Gaussian Mixture Models）を利用しました。第一に、GMM は普遍的な密度近似器であり、十分な成分数を与えれば、任意の滑らかな分布を極めて小さな誤差で近似できます。第二に、GMM は解析的な密度とスコア（score）を持つため、常に厳密な目標値が得られ、それを基準として教師あり学習を行えます。私たちはこれらの性質を活用し、バッチごとに新しい GMM を生成することで、モデルに対して事実上無制限のターゲット分布例を提供し、各サンプルを対応する GMM の厳密な密度とスコアに基づいて監督します。 ## Performance 総合的に見ると、DiScoFormer は密度推定およびスコア推定の両方でカーネル密度推定（KDE）を上回っており、特に KDE が苦手とする領域でその差が顕著に広がります。100 次元のデータにおいては、その差は圧倒的で、最良の手動調整済み KDE と比較しても、スコア誤差を約 6.5 倍、密度誤差を 37 倍以上削減します。さらにサンプル数を増やすにつれて性能が向上し続ける一方、KDE はメモリ不足に陥ります。また、学習データの外側にある分布に対しても優れた性能を発揮し、学習時に経験した以上のモード数を持つ混合分布や、ラプラス分布や学生 t 分布のような非ガウス形状の分布においても正確な推定を維持します。KDE の主な利点は依然として速度にあり、特にデータセットが小さい場合にその優位性が顕著です。 DiScoFormer の中で最も有望だと私たちが考える点は、スコア推定が生成モデル、ベイズ推論、科学計算など多くの分野に共通する依存関係であることです。高次元でも精度を保ち、問題ごとに再学習する必要をなくす事前学習済みでプラグイン型の推定器があれば、これらすべての分野におけるコストを同時に削減できる可能性があります。つまり、スコアと密度が現れるあらゆる場所で再利用される単一のモデルです。 詳細については、[技術報告書](https://arxiv.org/pdf/2511.05924)をお読みいただくことをお勧めします。

DiScoFormer：分布を横断して密度とスコアを推定する単一のトランスフォーマー（5 分読了）

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト