流式视频编辑不再需要反演:AR-Edit 只缓存一次源视频的值特征,就能边到帧边改
核心概要
AR-Edit 让自回归视频扩散模型在帧到达时直接编辑,不必先看完整段视频,也不必做反演。它利用一个观察:在这类经 DMD 蒸馏的模型中,自注意力的查询和键随去噪步数基本不变,只有值随内容变化,因此一次干净前向传播缓存的值就足以锚定源视频外观。在 Reward Forcing 骨干上,它从随机噪声出发、每块 6 次网络评估,源保持得分 7.28,高于反演基线 Inv, Inv, 的 4.93(后者需 9 次评估)。
深度剖析
流式视频编辑可以在不访问未来帧、不做反演、不额外训练的条件下完成,编辑结果在源保持和色调保真上不弱于离线方法。 此前的无训练编辑方法要么需要整段视频和 20 到 50 次网络评估,要么在流式骨干上只能做粗糙的加噪再去噪,源保持很差。 在 Reward Forcing 骨干上,AR-Edit 的源保持得分为 7.28,反演基线 Inv, Inv, 为 4.93,SDEdit 为 3.81;AR-Edit 每块 6 次网络评估,反演基线为 9 次。
方法的核心是把源视频的值特征缓存一次,在去噪过程中有选择地注入,而查询和键保持目标提示词决定的路由。 反演路线需要先用多步积分把源视频映射回噪声空间,再在目标提示词下重新去噪;在只有 3 到 4 步的蒸馏模型上,这条路线失效。 在 Wan 2.1 的 DMD 蒸馏学生模型 Reward Forcing 上,四个训练时间步的查询和键与干净锚点保持接近,而值明显偏离;同一不对称性也出现在非蒸馏的双向教师模型上。
注入按提交再锚定(Commit-then-Anchor)调度:前几步全图注入以确定编辑布局,之后只在编辑区域之外注入,并用文本增强强化目标提示词。 若全程全图注入,源保持上升但编辑被压制;若只在编辑区域外注入,文本遵循保持但源恢复不完整。 在 Reward Forcing 骨干的四步编辑中,默认配置达到源保持 7.28、文本遵循 6.11;去掉提交再锚定后源保持降至 5.68,去掉文本增强后文本遵循降至 5.17。
启示与展望
演示范围是 Wan 2.1 系四个模型上的流式编辑:三个 DMD 蒸馏自回归学生(Reward Forcing、CausVid、Self Forcing)和非蒸馏双向教师;评测使用作者自建的 120 段 Pexels 视频基准,覆盖十类编辑,运行在单张 H100 上。
作者指出,查询、键、值的不对称性只在共享同一 DiT 设计的 Wan 2.1 系模型上验证,尚未在 MM-DiT 这类文本与图像 token 联合注意的结构上检验;方法继承了无训练编辑共有的源与文本权衡,注入步数、块阈值和文本增强权重没有对所有样本通用的设置,更复杂的编辑可能需要逐例调整。
