跳到主要内容
返回时间线
arXiv来源发表:

自回归图像生成改在序列中段修属性:Janus-Pro冻结权重,GenEval++准确率从24.6%升到46.8%

核心概要

自回归图像生成器常在同一条提示里同时写错颜色、数量等多个属性,而在前缀潜变量上加一个固定方向只能强化提示已有的属性,很难覆盖冲突的属性。LOCUS先测量每个属性在图像词元序列的哪一段仍可被因果改变:数量、位置在前段窄窗口定型,颜色、大小、材质在后段较宽窗口定型。它据此把测试时的潜变量优化路由到失败属性对应的窗口,在生成器冻结的条件下把Janus-Pro的GenEval++准确率从24.6%提高到46.8%。

Source-provided article image: LOCUS: Causal Support Windows for Attribute Control in Autoregressive Image Generation
arXiv

深度剖析

属性控制的位置从网络层改为生成序列中的解码步窗口:同一干预放在不同窗口,对属性的翻转效果不同。 此前的测试时控制方法无论哪个属性失败都作用在同一位置,前缀方向只能强化提示已要求的属性,对冲突属性覆盖有限。 在Janus-Pro上,把颜色方向加到前缀潜变量只在26.7%的试验中覆盖冲突提示,与随机方向相当;而同一方向作用于整条轨迹时几乎全部覆盖。

LOCUS先由验证器判断哪个属性失败,再把测试时潜变量优化限制在该属性的支撑窗口内。 前缀优化对结构属性有效、对表观属性失效,因为它的窗口只覆盖前者的支撑区。 在生成器、优化器、奖励、验证器和词元预算都固定的条件下,按支撑路由的窗口在GenEval++宏平均准确率上比后段窗口高23.6个百分点;用Qwen3.5-9B重新评分同一批1,320张图像,排序不变。

启示与展望

结论针对测试时的图像词元潜变量干预,且模型、奖励与预算固定;不涉及权重级编辑或任意预算。跨模型证据只覆盖提交顺序,分带与二维支撑分析仅在Janus-Pro上测量。

部分机制实验只用单层并样本量有限;表观与结构属性分别用CLIP和检测器评判,虽经统一视觉语言模型复核但未完全消除;内容门控阈值固定,未刻画不同阈值下的敏感性;支撑剖面目前对固定属性离线测量,按提示估计留待后续。