视频压缩不再等整段片段:SGVC把视频DiT改成逐帧因果精修器,DISTS码率平均省71.97%
核心概要
超低码率下的生成式视频压缩通常依赖预训练视频扩散Transformer,但重建帧要经过计算昂贵的VAE解码器,联合精修多帧又会引入缓冲延迟。SGVC把解码后的编解码特征直接投影进视频DiT的输入嵌入空间,用嵌入对齐弥合两者表示差距,并让逐层K/V状态跨帧传播,从而在逐帧因果解码下复用时空先验。在HEVC Class B、UVG和MCL-JCV上,相对S2VC,SGVC在DISTS上平均BD-rate节省71.97%,在LPIPS上为35.94%。
深度剖析
生成式视频压缩可以在不缓存整段片段的前提下逐帧解码,同时仍调用预训练视频扩散Transformer的时空先验。 此前的帧级扩散方法以图像扩散模型为骨干,本身不建模时空依赖,需要另设时间模块;片段级方法联合精修多帧以利用视频先验,代价是多帧缓冲延迟。 在HEVC Class B、UVG和MCL-JCV三个数据集上,相对S2VC,SGVC在LPIPS、DISTS和FID上的平均BD-rate分别降低35.94%、71.97%和89.15%。
解码后的编解码特征被直接送进视频DiT的输入嵌入空间做一步精修,精修后的隐状态经轻量重建路径回到像素域,不再经过预训练VAE解码器。 此前的生成式视频压缩在精修后仍需多级上采样解码器重建帧,带来额外计算开销和解码延迟。 在DIV2K的I帧消融中,以SGVC为锚点,改用对齐VAE潜空间加VAE解码的变体在PSNR、LPIPS、DISTS、FID上BD-rate分别为-7.60%、-10.87%、-4.23%、-18.75%,但解码耗时1498.54 ms,而SGVC为891.36 ms。
训练时的嵌入对齐把编解码器导出的嵌入拉向原始帧经预训练VAE编码器和DiT patch embedder得到的参考嵌入,使预训练DiT的生成先验能作用在压缩特征上。 去掉嵌入对齐、保留SGVC其余部分后,I帧在LPIPS、DISTS、FID上的BD-rate分别上升26.62%、42.40%和99.58%。 在UVG的P帧消融中,以完整SGVC为锚点,同时去掉嵌入对齐与上下文传播使DISTS和FloLPIPS的BD-rate分别上升51.93%和44.49%。
上下文传播把每个DiT自注意力层改造成带K/V缓存的模块,I帧精修时初始化缓存,后续P帧的查询直接关注缓存的历史键值。 预训练视频DiT原本是双向注意力,片段级方法靠联合处理多帧获得时间上下文,无法逐帧因果解码。 在UVG的P帧消融中,仅启用嵌入对齐时FloLPIPS的BD-rate为16.45%,同时启用嵌入对齐与上下文传播后降为0.00%,但解码耗时从728.37 ms升至867.58 ms,峰值显存从4.51 GiB升至5.94 GiB。
启示与展望
评估覆盖HEVC Class B、UVG和MCL-JCV,按低延迟P配置、帧内周期32、每条序列前96帧进行,码率以每像素比特计,质量用PSNR、LPIPS、DISTS、FID以及RAFT光流计算的Ewarp衡量;模型在Vimeo-90K的256×256裁剪上训练,DiT由Wan-2.1-T2V-1.3B初始化并用秩64的LoRA适配。
长序列微调使用的是由七帧片段经时间反转与拼接构造的13帧和25帧序列,而非真实长视频,扩展预测链上仍有感知质量下降;1080p下P帧解码每帧需845.7 ms(约1.18 fps),受限于大型预训练DiT,实时部署仍受制约。
