跳到主要内容
返回时间线
arXiv来源发表:

特征上采样不再重画整张图:AnchorUp 只学插值修正,参数降到 NAF 的四分之一

核心概要

视觉基础模型输出的特征分辨率比图像粗十几倍,稠密预测需要逐像素特征,此前的学习式上采样器直接回归整张高分辨率特征图。AnchorUp 把无参数的双线性或双三次插值留在输出里作为锚点,只让一个小型引导网络预测相对插值的修正,再用一个可学习标量门把两者混合。它在 DINOv3 上只训练 NAF 两阶段中的第一阶段,在 Pascal VOC 与 Cityscapes 上与两阶段 NAF 持平,在 DAVIS-2017 上于全部六个骨干上超过它,参数量为 167,425,约为 NAF 的四分之一。

Source-provided article image: AnchorUp: Anchoring Feature Upsampling on a Classical Interpolation
arXiv

深度剖析

学习式特征上采样器不再需要自己生成整张高分辨率特征图,只需补上经典插值留下的那部分差异。 此前的学习式上采样器把低分辨率特征和图像作为输入,直接回归完整的高分辨率特征图,因此平滑区域也要由网络重新算一遍。 在固定骨干的四个数据集上,JAFAR、FeatUp 和 AnyUp 平均未能超过双三次插值,说明目标图的大部分内容并不需要学习。

做法是保留一个无参数的经典插值作为锚点,让学习部分只输出修正,两者按一个标量门混合。 学习部分沿用 NAF 的上采样器,其中只有编码输入图像的引导网络带参数,位置编码和邻域注意力都没有参数。 引导维度取 128 时模型共 167,425 个参数,比 NAF 多出的只有门这一个标量;训练在 ImageNet 上用 DINOv3-B/16 特征,输入为同图下采样 2 倍后的特征。

训练后的修正集中在高频和物体边界,因此引导网络可以做得很小。 锚点已经覆盖了输出的低频内容,梯度只在锚点出错的地方保持较大。 在最低测量频率上,修正的傅里叶功率比锚点低两个数量级以上,而在约 0.06 到 0.3 周期每像素之间高于锚点。

启示与展望

评估限于自然图像基准:Pascal VOC 与 Cityscapes 上的线性探测,以及 DAVIS-2017 上基于特征相似度的首帧掩码传播,上采样到图像全分辨率或在 DAVIS 帧上放大两倍。成本数字来自单张 RTX PRO 6000 Blackwell 上、FP32、批大小 1、固定输入尺寸下只计上采样器本身的一次前向。

锚点只试了双线性与双三次两种经典插值,而哪一个更好取决于基准:双三次在 VOC 均值上更好,双线性在 Cityscapes 上更好。门是一个对所有像素和通道共享的标量,即使锚点的可靠程度在平坦区域与物体边界之间不同也不作区分。学习部分固定为 NAF 的上采样器,框架本身接受其他学习式上采样器,但这些替换尚未测试;遥感这类平坦与结构区域分明的领域被预期最适合锚定前提,但同样没有测试。