冻结的视觉编码器换个看法:vividRGB 把局部裁剪放大再拼回,五个生态图像域的边缘 F1 全面高于原版 DINOv3 与 SAM3
核心概要
vividRGB 0.1.0 把一种推理期流程做成 Python 库:不重训视觉编码器,只把输入限制在放大后的重叠局部裁剪上,再把各裁剪的特征反变换回原图坐标拼成稠密特征场。在草地、真菌网络、机载森林、珊瑚礁和浮游植物显微五类生态图像上,冻结的 DINOv3 ViT-B/16 配合该流程,其 RGB 边缘边界 F1 的域均值在 5% 焦点下为 0.290 至 0.596、10% 焦点下为 0.244 至 0.441,而原版 DINOv3 为 0.028 至 0.076、自动 SAM3 为 0.020 至 0.090。代价是提取时间和 GPU 能耗显著上升,5% 焦点下每张图约 175.8 秒。
深度剖析
生态照片里密集、细小的结构在通用视觉基础模型的整图特征中容易被抹平,vividRGB 让冻结编码器只看放大的局部裁剪,再把局部描述子拼回整幅图像,从而在特征图上保住叶片、菌丝和冠层的边缘与形状。 此前的做法是把整幅图一次性送入 DINOv3,或让 SAM3 自动生成掩膜;这两种方式在同样的五类生态图像上给出的边界与可见亮度边缘吻合度很低。 在每域 10 张、共 50 张工作图像上,DINOv3-FFA5% 的 RGB 边缘边界 F1 域均值为 0.290 至 0.596,DINOv3-FFA10% 为 0.244 至 0.441,而原版 DINOv3 为 0.028 至 0.076、自动 SAM3 为 0.020 至 0.090;5% 焦点在每个域都高于 10% 焦点,20 组配对比较经 Holm 校正后均显著。
流程不改编码器参数,只改它看到的上下文:每个输入是一块按图像短边比例取出的方形裁剪,放大到编码器输入分辨率后单独编码。 强制聚焦指的是外部强加的视野限制,不是新的注意力层,也不改动注意力系数;编码器权重在各条件下完全相同。 每块裁剪按原图、水平翻转、垂直翻转和双向翻转四个方向编码,反变换对齐后取平均;各裁剪的特征图经双线性插值放回原坐标,重叠处用 Hann 窗加权并除以总覆盖权重,得到一张与原图对齐的连续特征场。实验在单块 NVIDIA RTX 4000 SFF Ada GPU 上完成,5% 与 10% 焦点分别对应每张图约 175.8 秒与 43.8 秒的提取时间。
启示与展望
演示范围是五个生态图像域各 10 张、共 50 张工作 RGB 图像上的外观边界恢复与计算成本,编码器为冻结的 DINOv3 ViT-B/16,另附 5 张图的 SAM3 图像编码器探索性测试;作者提出下一步需要任务特异的生物标注基准和因子化比较来区分有效分辨率、上下文范围与聚合方式的作用。
作者明确指出,主要定量终点是聚类描述子边界与 RGB 亮度边缘的一致性,这些边缘可能来自纹理、阴影或成像伪影,也可能漏掉生物上有意义的区分,因此需要针对具体生物任务另行验证;50 张照片只提供示例,不足以确立跨代表性数据集与采集条件的泛化;与 FeatUp、AnyUp 等特征重建方法的匹配比较尚未进行。
