LLaDA-Image：完全オープンな画像生成フレームワークと学習レシピ

記事の3ポイント

1. 1

   独自の前学習手法による性能向上

   同社は最初から画像・テキストペアデータに依存せず、画像のみを用いた事前学習と中間学習（mid-training）によって強力な視覚生成_prior_を構築した。

2. 2

   効率的な最適化技術の採用

   DiT 全体にパラメータフリーの RMSNorm と Muon オプティマイザを使用し、2.2 億サンプル（実画像 98 枚）を用いた大規模トレーニングを効率化した。

3. 3

   高速推論モデルの提供

   LLaDA-Image を蒸留して LLaDA-Image-Turbo を作成し、2〜4 ステップのサンプリングで高速な推論を可能にした。