テキストから画像生成モデルの学習設計：アブレーション研究からの知見

ここで、λ∈[0,1) は「斥力」項の強度を制御します。直感的には、自身の軌跡には一致させ、他の軌跡とは一致しないようにする、という意味です。 著者らは、対照的フローマッチング（contrastive flow matching）がより識別性の高い軌跡を生成し、これが品質と効率の両方の向上につながることを示しています。ImageNet (Deng et al., 2009) および CC3M (Sharma et al., 2018) での実験では、より速い収束（同様のFIDに到達するまでの学習反復回数が最大9分の1に減少）と、より少ないサンプリングステップ（ノイズ除去ステップ数が最大5分の1に減少）が報告されています。 重要な利点は、この目的関数がほぼそのまま置き換え可能であることです。通常のフローマッチング損失を維持し、同じバッチ内の他のサンプルを負例として使用する単一の対照的「斥力」項を追加するだけです。これにより、追加のモデル実行を導入することなく、追加の教師信号が提供されます。 私たちが観察したこと ![](https://cdn-uploads.huggingface.co/production/uploads/68e529af513e724edd8702f6/62As0PavSB4rxTIm-OHYY.png) この実験では、対照的フローマッチングは、表現駆動型メトリクスにおいて、小さくはあるが測定可能な改善をもたらしました。CMMDは0.41 → 0.40に、DINO-MMDは0.39 → 0.36に改善しました。この改善の度合いは、論文がImageNetで報告しているものよりも小さく、これは驚くことではありません。テキスト条件付けは離散クラスよりもはるかに複雑であり、学習データ分布はImageNetよりも「分離可能」でない可能性が高く、対照的な信号を活用するのが難しくなっているためです。 この特定の実験ではFIDの改善は見られませんでした（むしろわずかに悪化しました）。しかし、スループットのコストは実際には無視できます（3.95 → 3.75 バッチ/秒）。変更の単純さと、条件付け/表現メトリクスが一貫して正しい方向に動いていることを考えると、私たちは対照的フローマッチングを、低コストの正則化器（regularizer）として学習パイプラインに残す可能性が高いです。 JiT (Li and He, 2025) 『基本に立ち返る: ノイズ除去生成モデルにノイズ除去をさせよう（Back to Basics: Let Denoising Generative Models Denoise）』は、おそらく拡散モデル分野における私たちのお気に入りの最近の論文の一つです。なぜなら、これは新しいトリックではなく、リセットだからです。ネットワークに多様体外の量（ノイズや速度）を予測させるのをやめて、単にノイズ除去をさせようというものです。ほとんどの現代的な拡散モデルやフローモデルは、ネットワークにノイズεや速度vのような混合量を予測するように学習します。多様体仮説（manifold assumption）の下では、自然画像は低次元多様体上に存在しますが、εとvは本質的に多様体外にあります。したがって、それらを予測することは、見た目よりも難しい学習問題になり得ます。 著者らは、クリーン画像xとノイズεの間の標準的な線形補間を用いて問題を定式化します： z_t = t x + (1-t) ε, そして対応するフロー速度： v = dz_t / dt = x - ε。 v_θを直接出力する代わりに、モデルはクリーン画像の推定値を予測します： x_θ(z_t, t) := net_θ(z_t, t), そして、それを速度予測に変換します： v_θ(z_t, t) = (x_θ(z_t, t) - z_t) / (1-t)。 その後、v空間で全く同じフローベースの目的関数を維持できます： L_v = E_{t,x,ε}[ || v_θ(z_t, t) - v ||_2^2 ] ただし v = x - ε。 この定式化は、高次元において学習問題を大幅に容易にします。ネットワークは、ノイズや速度（これらは本質的にピクセル空間で制約がない）を予測する代わりに、クリーン画像x、つまりデータ多様体上にある何かを予測します。実際には、これにより、VAEやトークナイザーなしで、大きなパッチのトランスフォーマーをピクセル上で直接学習することが可能になり、最適化を安定させ、トークンの総数を管理可能な範囲に保つことができます。 私たちが観察したこと まず、他の目的関数実験と同じ設定、つまり256×256解像度のFLUX潜在空間での学習において、x予測を評価しました。 ![](https://cdn-uploads.huggingface.co/production/uploads/68e529af513e724edd8702f6/BoNl8yyAr9ziOT7ORceKr.png) この設定では、x予測の利点は明確ではありません。FIDはベースラインと比べてわずかに改善しますが、CMMDとDINO-MMDは顕著に悪化し、スループットは変わりません。これは、すでに構造化された潜在空間で作業する場合、速度の代わりにクリーン画像を予測することは、ベースライン目的関数に対して一貫して優位に立つわけではなく、表現レベルの整合性を損なうことさえあることを示唆しています。 とはいえ、この実験はx予測が真に輝く場所ではありません。 エキサイティングな部分は、x予測が高次元学習を安定させ、より大きなパッチを使用し、VAEなしで、はるかに高い解像度でピクセル空間で直接ノイズ除去を行うことを可能にすることです。JiTを使用して、圧縮された潜在空間で操作する代わりに、32×32パッチで1024×1024画像を直接学習しました。はるかに高い解像度とトークナイザーの不在にもかかわらず、最適化は安定して高速に行われました。FID 17.42、DINO_MMD 0.56、CMMD 0.71、スループット1.33バッチ/秒という結果を得ました。 これらの結果は注目に値します。1024×1024画像を直接学習することは、256×256の潜在空間で学習するよりも約3倍遅いだけです。

テキストから画像生成モデルの学習設計：アブレーション研究からの知見

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト