跳到主要内容
返回时间线
researchsquare.com来源发表:

扩散模型缓存不再全量重算:DACE+DTC在Qwen-Image-Edit上把延迟降12.1%、LPIPS降18.9%

核心概要

扩散模型推理靠学习式特征缓存跳过完整去噪前向,但缓存预测误差会写进采样状态并累积。DACE只对目标token执行缓存分解与预测,并按未来读取位置管理历史;DTC在计划内的完整步上先做端点反事实测量,再用带符号步长估计区间缺陷积分,在正常更新之后施加修正。在Qwen-Image-Edit背景替换任务、N7调度下,二者合计相对LinCa把GPU常驻延迟降低12.1%、平均LPIPS距离降低18.9%,DTC在DACE之上增加2.1%开销并进一步把LPIPS降低18.6%。

Source-provided article image: DTC: Dependency-Aware Cache Execution and Deferred Trajectory Correction
Figure 1 · researchsquare.com · 第 4 页

深度剖析

缓存加速扩散模型推理时,可以只计算最终会被消费的目标图像token特征,条件token的缓存分解、预测和输出投影可以跳过。 此前的缓存方法在缓存步上仍按全token执行分解与预测,条件token的缓存特征在最终消费中并未被使用。 在Qwen-Image-Edit背景替换任务、固定N7调度下,仅启用DACE就把延迟从LinCa的30.270秒降到26.061秒,降幅13.91%,峰值显存从61.219 GiB降到59.116 GiB。

缓存预测造成的状态位移可以在后续完整步上被回溯修正,而不必改动模型权重或增加完整DiT调用次数。 此前缓存预测误差由采样器直接写入潜状态,在完整步刷新历史只更新后续预测,已累积的位移仍留在采样状态里。 在DACE之上加入DTC,N7下LPIPS从0.1888降到0.1537,降幅18.60%,代价是0.545秒、约2.09%的额外耗时;相对LinCa的配对LPIPS差为−0.0358,95%区间[−0.0580,−0.0136]。

执行剪枝与端点反馈可以共用一份依赖计划,使被剪掉的历史在反馈读取完成前保持存活。 若按输出依赖直接释放历史,DTC在完整步刷新前所需的旧历史读取就会缺失,两层无法同时成立。 端点读取被计入完整步的读取集合,N7保持18次CFG分支完整前向,预测器逆变换从82次增至96次,最终潜变量与零增益对照逐元素一致。

启示与展望

演示范围是Qwen-Image-Edit在1024×1024分辨率、50步Euler采样、CFG强度4下的背景替换编辑,使用LinCa的预训练预测器且两组权重固定,N7调度共18次CFG分支完整调用;外部对比中文本条件预编码、编码器移至CPU,模块消融则整条流水线常驻GPU,两种计时协议分开报告。

确认队列只有八张图像,逐图结果显示LPIPS在六张上改善、两张变差,PSNR在七张上改善、一张变差,图像8的PSNR下降3.937 dB并影响均值;预注册的N9+DTC相对N7 DACE同时降低LPIPS与耗时的检验未通过,LPIPS差为+0.00764,区间[−0.02460,0.04531],四张改善四张退步;N7调度末尾五个缓存步、N9末尾两个缓存步未获修正。