跳到主要内容
返回时间线
arXiv来源发表:

ElasticDino给DINO特征做弹性形变上采样:分割与深度任务精度领先,峰值内存0.71 GB

核心概要

视觉Transformer的自注意力带来二次复杂度,特征图分辨率被限制在patch级别,并留下位置编码伪影和边界渗色。ElasticDino是一个轻量适配器,利用伪影跨通道一致这一观察,用图像引导的弹性形变场在逐级上采样中同时校正所有通道,输出像素对齐的高分辨率特征。在DINOv2特征上,它在语义分割、开放词汇分割和深度估计的多项基准上精度领先,且平均耗时108.41 ms、峰值内存0.71 GB,低于所列对比方法。

Source-provided article image: ElasticDino: Dense Semantic Features Using Elastic Deformations
arXiv

深度剖析

ElasticDino把DINO特征提升到高分辨率时不再直接改写特征值,而是用形变场把特征重采样到与输入图像结构对齐的位置,从而在保留尖锐语义边界的同时去掉位置编码伪影和边界渗色。 此前的任务无关上采样方法多依赖注意力层,或通过裁剪式机制调和高低分辨率特征,语义会在边界处渗开;任务专用的稠密预测头则需要大量数据逐任务训练。 在DINOv2特征上,ElasticDino在除Cityscapes外的各数据集上取得领先的分割与深度结果,平均耗时108.41 ms、峰值内存0.71 GB,而AnyUp为545.42 ms、1.94 GB,LoftUp为418.89 ms、8.31 GB。

形变由输入图像引导:每一级把当前分辨率的特征与同分辨率图像拼接,经深度可分离卷积残差网络预测二维形变场,再按坐标对特征采样。 训练没有高分辨率真值特征可用,因此改用五个感受野为1×1的线性头分别预测RGB重建、单目深度、语义分割、表面法线、本征分解,迫使每个像素的语义与图像结构逐点匹配。 训练在Hypersim与ImageNet-22k上交替取样,最终模型在单张A100上训练24小时;去掉深度或分割任务训练的变体在这两项留出任务上仍保持较强表现。

形变而非直接编辑特征值,是防止下游任务语义被“烤进”特征图的关键设计。 若上采样器可以直接改写特征值,监督任务的信号可能被编码进特征,而不再需要同时校正所有通道。 消融中把形变替换为纯卷积后,特征值几乎看不出差异,任务语义发生泄漏;保留形变时只允许局部重采样,语义得以保持。

启示与展望

演示范围是DINOv2特征上的原型,并在部分实验中使用DINOv3,评测覆盖语义分割、开放词汇分割与单目深度估计;作者指出方法在Cityscapes上相对表现下降,并把向视频、3D等其他模态的扩展列为未来方向。

作者把Cityscapes上的落后归因于方法对小物体的捕捉能力较弱,可能与卷积架构的低频偏置有关,并指出小于patch尺寸的孔洞难以区分;这一解释以按物体尺寸分组的补充比较为支持,仍属假设。