自己回帰型画像生成のためのエンドツーエンドトークナイザー学習
本研究は、画像生成モデルとトークナイザーを別々に訓練する従来の手法に代わり、両者を同時に最適化するエンドツーエンドのトレーニングパイプラインを提案し、ImageNet 256x256 でガイドなし FID スコア 1.48 という最高記録を達成した。
キーポイント
エンドツーエンド最適化の導入
従来の「トークナイザー訓練→生成モデル訓練」という2段階アプローチに対し、再構築と生成の両方を同時に最適化する新しいパイプラインを設計し、生成結果から直接トークナイザーへの監督信号を与えることに成功した。
ビジョンファウンデーションモデルの活用
1D トークナイザーのパフォーマンス向上のために、既存のビジョンファウンデーションモデルを活用する手法を調査・検証し、自己回帰モデルにおける表現能力を強化した。
SOTA 性能の実証
提案された自己回帰生成モデルは、ImageNet 256x256 の画像生成において、ガイドなしで FID スコア 1.48 を達成し、既存の最先端手法を凌駕する結果を示した。
影響分析・編集コメントを表示
影響分析
この研究は、画像生成モデルの性能向上において「トークナイザー設計」が単なる前処理ではなく、生成プロセスと密接に連携する重要な要素であることを再認識させる画期的な成果です。特にガイドなしでの高品質生成を実現した点は、計算コスト削減や実用化のハードルを下げ、今後の自己回帰型画像生成技術の主流となる可能性を秘めています。
編集コメント
画像生成の根幹であるトークナイザーと生成器を一体化して訓練する手法は、理論的にも実証的にも非常に注目すべき進展です。特に FID スコア 1.48 という数値は、Diffusion モデルに匹敵する性能を示唆しており、今後の技術動向を注視する必要があります。
**
抄録：自己回帰型画像モデリングは、画像をコンパクトな潜在表現に圧縮する視覚トークナイザーに依存しています。私たちは、再構成と生成を共同最適化するエンドツーエンドのトレーニングパイプラインを設計し、生成結果からの直接監督をトークナイザーへ可能にしました。これは、トークナイザーと生成モデルを別々に訓練する従来の 2 段階アプローチとは対照的です。さらに、自己回帰型モデリングのための 1D トークナイザーを改善するためにビジョン基盤モデルを活用することについても調査を行いました。私たちの自己回帰型生成モデルは、ImageNet 256x256 の生成においてガイドなしで FID スコア 1.48 という最先端の実証結果を含む、強力な実証結果を達成しました。
コメント:
ICML 2026 (スポットライト)
主題：
コンピュータビジョンとパターン認識 (cs.CV); マシンラーニング (cs.LG)
引用形式：
arXiv:2605.00503 [cs.CV]
(またはこのバージョン用)
arXiv:2605.00503v2 [cs.CV]
https://doi.org/10.48550/arXiv.2605.00503
arXiv 発行 DOI (DataCite 経由)
提出履歴
送信者：Wenda Chu [メールを見る]
[[v1]](https://arxiv.org/abs/2605.00503v1)**
2026年5月1日（金）UTC 08:25:51 (5,305 KB)**
[v2]**
2026年5月4日（月）UTC 10:19:31 (5,305 KB)
原文を表示
Abstract:Autoregressive image modeling relies on visual tokenizers to compress images into compact latent representations. We design an end-to-end training pipeline that jointly optimizes reconstruction and generation, enabling direct supervision from generation results to the tokenizer. This contrasts with prior two-stage approaches that train tokenizers and generative models separately. We further investigate leveraging vision foundation models to improve 1D tokenizers for autoregressive modeling. Our autoregressive generative model achieves strong empirical results, including a state-of-the-art FID score of 1.48 without guidance on ImageNet 256x256 generation.
Comments:
In ICML 2026 (Spotlight)
Subjects:
Computer Vision and Pattern Recognition (cs.CV); Machine Learning (cs.LG)
Cite as:
arXiv:2605.00503 [cs.CV]
(or
arXiv:2605.00503v2 [cs.CV] for this version)
https://doi.org/10.48550/arXiv.2605.00503
arXiv-issued DOI via DataCite
Submission history
From: Wenda Chu [view email] [[v1]](https://arxiv.org/abs/2605.00503v1)
Fri, 1 May 2026 08:25:51 UTC (5,305 KB)**
[v2]**
Mon, 4 May 2026 10:19:31 UTC (5,305 KB)
関連記事
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み