扩散模型改权重不必只靠CLIP打分:Astra一次性程序在新场景联合成功率上高出共享面板基线10个百分点
核心概要
让语言模型为扩散模型的概念编辑写权重更新程序,这条路线此前难以判断收益来自程序本身还是来自保护提示、数值拟合等外围部件。在Stable Diffusion 1.4的24个TIMED测试编辑上,Astra一次性写出的程序在冻结后新写的新场景提示上,把“主体在场且整图符合目标描述”的联合成功率相对共享面板手写基线提高10.0个百分点,而CLIP相对匹配没有可检测差异。经过探测与改写后,CLIP提高6.2个百分点,联合成功率却下降9.7个百分点,说明程序构造与分数引导的修订应作为两个阶段分别评估。
深度剖析
语言模型写出的完整权重更新程序,可以在扩散模型概念编辑中带来任务层面的收益,而不只是让CLIP代理分数变好看。 此前的概念编辑已有TIME、UCE等闭式编辑器与公开基准,但权重空间编程流程里还混着保护提示和数值拟合等非程序部件,收益归属难以判断。 在24个TIMED测试编辑上,Astra一次性程序相对使用同一保护面板与同一拟合器的U1b手写基线,新场景联合成功率为37.7%对27.7%,差值为+10.0个百分点,95%区间[+4.7,+15.4];同一对比的CLIP相对匹配差值为-0.6个百分点,区间[-7.3,+6.4]。
程序把可调方向组织成共享一个线性不变量的若干分量,交给拟合器独立选系数。 以“a cat”到“a green cat”的Astra程序为例,它自行写出15组源—目标上下文和30条保留文本,并用TIME的token对齐构造旧状态输入与目标减旧的残差。 该程序对空提示状态和编辑后不变的因果前缀状态构造正交基,把输入与保留样本投影到其正交补上,再由一个共享的岭正则协方差解出两个残差传递算子,按key与value分开得到四个排序方向;编码全部96个最终程序的语法树显示,24个Astra一次性程序全部构造SVD基并投影,且全部把空提示纳入受保护状态,24个Opus一次性程序则都没有。
启示与展望
结论建立在Stable Diffusion 1.4、TIMED的24个测试编辑、一个主VLM评判器(另在144张固定子样本上加五个评估器)以及每个编辑每个模型一个程序、单轮改写之上;作者明确未与SPEED、ACE等已发表零空间编辑器比较,因此这里刻画的是该设置下的构造与修订行为。
Astra一次性程序的新场景联合成功增益被作者标为探索性:跨全部288个对比做Benjamini–Hochberg校正后p=0.007,但在其端点内做Holm为0.051,处于边界,跨全部单元格做Holm则不显著(0.343)。改写阶段与随后的CLIP引导拟合在设计上未分离,完整程序的增益也未归因到单个部件;在144张审计样本上,要求属性落在主体本身时各评估器的差异区间多包含零。
