跳到主要内容
返回时间线
arXiv来源发表:

文生图纠错不再整图重画:MLIE-CoT按错误大小选修复粒度,GenEval总体从0.84升到0.88

核心概要

复杂提示词生成的图像常残留局部错误,而现有视觉思维链多靠改写提示或反复整图重生成,前者丢掉已正确的视觉信息,后者每轮引入并累积新的幻觉。MLIE-CoT把纠错拆成接受、局部修复、整图编辑、纯文本重生成四个由轻到重的动作,并用一个在图像修复数据上训练的路由器根据当前图像、目标提示和结构化诊断选择粒度。在GenEval上,以FLUX.2-dev为底座的MLIE-CoT总体得分从0.84升到0.88,以BAGEL为底座从0.80升到0.86。

Source-provided article image: MLIE-CoT: Chain-of-Thought Reasoning via Multi-Level Image Editing
arXiv

深度剖析

图像生成的思维链纠错现在可以只改动出错的那一小块,而不必每轮重画整张图。 此前的视觉思维链方法多把反思压缩成更长的提示、布局条件或又一次整图生成,小错误时丢弃已正确的内容,大错误时沿用错误布局。 在GenEval的553条提示上,以FLUX.2-dev为底座的MLIE-CoT总体得分为0.88,高于该底座单独生成的0.84;以BAGEL为底座时为0.86,高于0.80。

系统先诊断当前图像与目标提示的逐条约束差异,再决定保留多少现有图像。 路由器是一个冻结的Qwen3.5-9B多模态编码器加两层分类头,只训练分类头,从当前图像、目标提示和固定结构的诊断中预测L1局部修复、L2整图编辑或L3纯文本重生成。 路由训练数据由1K条提示、每个修复层级采样五次构成,共14.8K张图像;修复后由审阅步骤在原图与修复图之间保留更符合提示的一张。

同一批初始图像下,学习到的路由比任何单一固定修复策略都更准。 固定只用L1、L2或L3,或让模型自行粗粒度路由,都只能覆盖部分错误类型。 在FLUX.2-dev底座、四条策略共用同一组553张初始图像的GenEval对照中,L1-only、L2-only、L3-only与self-route的均值为0.86、0.85、0.85和0.85,MLIE为0.88。

启示与展望

演示范围是GenEval的553条提示与WISE的1000条提示,底座为BAGEL-7B-MoT和FLUX.2-dev,评测使用官方提示与官方评测器;作者提出后续可针对修复提示做定向优化,并探索把图像生成思维链用于更大尺寸图像。

作者指出增加修复步数的收益存在明显上限,取决于任务推理需求与底座剩余的可纠正错误空间,一到三步是较高效的操作区间;额外步数不必然提升质量,可能只增加成本。