PixelSpline 让每个像素只走一条共享轨迹:每帧 406.41 ms,比 V3 快一倍多
核心概要
连续时空视频超分要在任意空间尺度与任意时刻重建画面,以往方法只从两帧端点推断运动、并分别建模两个方向,遮挡或弱纹理处容易对应错乱。PixelSpline 用长上下文编码增强端点特征,在请求的高分辨率网格上连续上采样特征,并为每个像素构造一条两端点共享的连续轨迹,同时搬运颜色与特征。在 Adobe240 平均帧上,它比质量领先的 V3 低 0.90 dB PSNR,但每帧耗时 406.41 ms,而 V3 为 912.21 ms。
深度剖析
连续时空视频超分现在可以只沿一条两端点共享的像素轨迹搬运内容,而不是分别预测从两个端点出发的两条运动。 此前的连续方法从两个端点各自推断到目标时刻的运动,即使共享网络参数,两个方向的预测也依赖不同的端点特征,没有约束要求对应像素落在同一条物理曲线上。 在 Adobe240 测试集随机抽取的 3,858 帧上,把共享的双向轨迹控制点换成独立预测的前向与后向控制点、保留长上下文结构后,PSNR 从 32.49 dB 降到 32.25 dB,SSIM 从 0.930 降到 0.924。
重建流程先用长上下文编码器把查询帧对之外的观测聚合进两个端点的表示,再在请求的高分辨率网格上直接构造外观特征。 只用两帧端点推断对应关系时,遮挡、运动模糊、重复纹理或大位移会让匹配出错,而错误匹配会影响这对端点之间查询的每一个中间时刻。 去掉额外上下文帧、只用两个端点帧后,同一子集上的 PSNR 从 32.49 dB 降到 31.80 dB,SSIM 从 0.930 降到 0.918。
每个源像素的运动被写成一条三次曲线,两个端点分别从两端沿同一条曲线走到目标时刻的同一交点。 两个端点搬运的颜色和特征因此共享同一套几何,而不是各自漂移到不一致的目标位置。 端点对应由 SEA-RAFT 给出初始匹配与置信度,再用冻结的 GMFlow 在大误差处做全局匹配,合并后借助上下文增强的端点特征细化。
轨迹位置被用两次:一次把双三次上采样的端点颜色前向搬运并融合成粗糙中间帧,一次把上采样后的端点特征搬到同一位置形成对齐特征。 轻量逐点解码器只从对齐特征预测有界残差,加到粗糙帧上,显式搬运负责运动与颜色,解码器负责遮挡、拼接伪影和细节。 在 REDS 上,该方法的时间光流一致性误差为 8.171,低于 V3 的 8.923,数值越低表示重建运动越接近参考光流。
启示与展望
评估覆盖 Adobe240 测试集上的分布内结果,以及不做数据集特定微调的 GoPro、REDS 跨数据集结果,另在 Vid4 上分别测试仅空间与仅时间的边界情形;训练使用四块 NVIDIA H100、总批大小 8,每个样本含八帧时间下采样上下文帧。
在全部六个数据集与协议组合中,PSNR 均排第二,落后 V3 的幅度为 GoPro 中心/平均 0.77/0.80 dB、Adobe240 中心/平均 0.92/0.90 dB、REDS 中心/平均 0.22/0.32 dB;仅时间插值时 SSIM 最高(0.890),但 PSNR 29.01 dB 低于 V3 与 BF-STVSR。作者指出重建精度仍可提高,训练过程计算量大且耗时。
