画像編集における推論ベースの報酬手法
本研究は、画像編集タスクにおける報酬モデルの限界を克服するため、推論プロセス（CoT）を組み合わせた「Edit-R1」フレームワークを提案し、既存の強力な視覚言語モデルを上回る性能を示した。
キーポイント
推論型報酬モデル（RRM）の導入
単なるスコアリングから脱却し、指示を原則に分解して各項目を検証する「Chain-of-Thought」ベースの検証器を導入することで、バイアスのある評価を防ぎ、解釈可能な微細な報酬を実現した。
GCPOとGRPOによる学習手法
まず教師あり微調整（SFT）で冷間開始し、人間のペア比較データを用いた「グループ対照的選好最適化（GCPO）」で報酬モデルを強化。その後、この非微分可能だが強力な報酬モデルを用いて画像編集モデルをGRPOで訓練する手法を採用した。
既存VLMの性能超越とスケーリング効果
Seed-1.5-VLやSeed-1.6-VLといった強力な汎用視覚言語モデルを編集特化型報酬モデルとして上回り、パラメータ数（3Bから7B）の増加に伴い性能が明確に向上するスケーリング傾向を確認した。
FLUX.1-kontextへの適用成功
構築されたEdit-R1を既存の編集モデルであるFLUX.1-kontextに適用することで、画像編集性能の明確な向上をもたらすことを実証し、その汎用性と効果を検証した。
重要な引用
A key bottleneck is the lack of a robust general reward model for all editing tasks.
To address this, we argue that the key is to move from a simple scorer to a reasoning verifier.
Extensive experiments demonstrate that our Edit-RRM surpasses powerful VLMs such as Seed-1.5-VL and Seed-1.6-VL as an editing-specific reward model.
影響分析・編集コメントを表示
影響分析
この研究は、画像生成・編集分野における強化学習（RL）の実用化において、単なるスコアリングから「推論による検証」へとパラダイムをシフトさせる重要な転換点となります。特に、既存の汎用VLMを凌駕する特化型報酬モデルの構築手法を示したことで、より高品質で指示遵守性の高い画像編集システムの開発に道を開く画期的な成果です。
編集コメント
画像編集の品質評価において、ブラックボックス的なスコアリングから透明性の高い推論プロセスへ移行する試みは、AIの信頼性向上に不可欠なステップです。特に「スケーリング則」が報酬モデルにも適用される可能性を示した点は、今後のリソース配分戦略においても示唆に富んでいます。
**
要約：ヒューマンフィードバックからの強化学習（RLHF）はテキストから画像を生成する際の中心的なパラダイムとなっていますが、画像編集への応用はまだほとんど探求されていません。主要なボトルネックは、すべての編集タスクに対応する堅牢な一般化された報酬モデルの欠如です。既存の編集報酬モデルは通常、詳細なチェックを行わずに総合スコアを与えるため、異なる指示要件を無視し、偏った報酬をもたらします。これに対処するため、私たちは単なる採点者から推論検証者へと移行することが鍵であると主張します。私たちは Edit-R1 というフレームワークを導入しました。これは思考の連鎖（CoT）に基づく検証者を備えた推論報酬モデル（RRM）を構築し、それを下流の画像編集に活用するものです。Edit-RRM は指示を明確な原則に分解し、編集された画像を各原則に対して評価し、これらのチェックを集約して解釈可能で微細な報酬を生成します。このような RRM を構築するために、まず監督付き微調整（SFT）を「コールドスタート」として適用し、CoT 報酬軌道（trajectories）を生成します。次に、人間のペア比較選好データを活用して点ごとの RRM を強化する強化学習アルゴリズムであるグループ対照的選好最適化（GCPO）を導入します。RRM の構築後、この非微分可能ながら強力な報酬モデルを用いて GRPO で編集モデルを訓練します。広範な実験により、私たちの Edit-RRM が Seed-1.5-VL や Seed-1.6-VL などの強力な視覚言語モデル（VLM）を上回る編集特化型報酬モデルであることが示され、3B から 7B パラメータへと性能が一貫して向上する明確なスケーリング傾向も観察されました。さらに、Edit-R1 は FLUX.1-kontext などの編集モデルに改善をもたらすことを示し、画像編集の強化におけるその有効性を浮き彫りにしています。
主題:
コンピュータビジョンとパターン認識 (cs.CV)
引用形式:
arXiv:2604.27505 [cs.CV]
(またはこのバージョンについては
arXiv:2604.27505v1 [cs.CV])
https://doi.org/10.48550/arXiv.2604.27505
arXiv-issued DOI via DataCite
## 提出履歴
From: Hanzhong Guo [view email]
[v1]**
Thu, 30 Apr 2026 06:54:39 UTC (27,405 KB)
原文を表示
Abstract:While Reinforcement Learning from Human Feedback (RLHF) has become a pivotal paradigm for text-to-image generation, its application to image editing remains largely unexplored. A key bottleneck is the lack of a robust general reward model for all editing tasks. Existing edit reward models usually give overall scores without detailed checks, ignoring different instruction requirements and causing biased rewards. To address this, we argue that the key is to move from a simple scorer to a reasoning verifier. We introduce Edit-R1, a framework that builds a chain-of-thought (CoT) verifier-based reasoning reward model (RRM) and then leverages it for downstream image editing. The Edit-RRM breaks instructions into distinct principles, evaluates the edited image against each principle, and aggregates these checks into an interpretable, fine-grained reward. To build such an RRM, we first apply supervised fine-tuning (SFT) as a ``cold-start'' to generate CoT reward trajectories. Then, we introduce Group Contrastive Preference Optimization (GCPO), a reinforcement learning algorithm that leverages human pairwise preference data to reinforce our pointwise RRM. After building the RRM, we use GRPO to train editing models with this non-differentiable yet powerful reward model. Extensive experiments demonstrate that our Edit-RRM surpasses powerful VLMs such as Seed-1.5-VL and Seed-1.6-VL as an editing-specific reward model, and we observe a clear scaling trend, with performance consistently improving from 3B to 7B parameters. Moreover, Edit-R1 delivers gains to editing models like FLUX.1-kontext, highlighting its effectiveness in enhancing image editing.
Subjects:
Computer Vision and Pattern Recognition (cs.CV)
Cite as:
arXiv:2604.27505 [cs.CV]
(or
arXiv:2604.27505v1 [cs.CV] for this version)
https://doi.org/10.48550/arXiv.2604.27505
arXiv-issued DOI via DataCite
Submission history
From: Hanzhong Guo [view email] [v1]
Thu, 30 Apr 2026 06:54:39 UTC (27,405 KB)
関連記事
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み