卫星影像检索不再先训检测器:Lens 点一下示例,跨瓦片找回同类目标
核心概要
面对覆盖数千瓦片的卫星镶嵌图,分析员过去要先收集样本、训练检测器,才能回答“这类目标在哪里”。Lens 改用冻结的自监督视觉 Transformer 提取稠密描述子,再用两步线性校正去掉位置偏置与区域共性,把点击邻域的平均特征与字节量化索引做余弦匹配。在 DFC2020 测试集上,单次点击在八类土地覆盖上取得 0.09 至 0.80 的像素 F1,均值 0.39,并在其中六类上优于逐对匹配的 INSID3 基线,查询开销约低四百倍。
深度剖析
卫星镶嵌图上的语义检索可以不做任何训练:分析员点选一个示例,系统返回整片区域内外观相近的位置,类别由这次点击临时定义。 此前的做法是把每个问题先转成监督学习任务,收集样本、标注、训练并调优检测器,耗时以周计,且换一个目标类别就要重来。 在 5,128 个瓦片的 DFC2020 测试集上,单次点击在八类土地覆盖上取得 0.09 至 0.80 的像素 F1,均值 0.39;与逐对运行的 INSID3 基线相比,在八类中的六类上更好,而后者还被额外给予每对图像各自的最优阈值。
系统把每块瓦片编码成稠密描述子后,先投影到与位置基正交的子空间,再减去整片区域的平均描述子,使相似度衡量的是“偏离区域平均的程度”。 稠密特征本身带有与内容无关的位置成分,同一网格坐标的图块会跨瓦片误匹配;当整片区域地貌单一时,描述子又挤成一团,余弦相似度失去区分范围。 位置基由一张无内容图像一次性估计并缓存;在 300 对 DFC2020 瓦片上,图块的最佳跨瓦片匹配落在同一网格位置的比例从去偏前的 5.2% 降到 0.8%,接近 0.39% 的随机水平。
索引与缓存让交互式查询落在毫秒级:中心化后的图块特征写入 8 位量化的 Faiss 索引,支持对整个镶嵌图做范围搜索。 逐对扫描整个语料每次查询约需 188 秒,无法支撑拖动阈值滑块这样的交互。 对 1.31 百万个图块的范围搜索耗时 436 毫秒;在五个 Sentinel-2 场址上,点击到渲染出叠加层为 6 至 10 毫秒,其中搜索本身占 1.7 至 2.7 毫秒。
启示与展望
演示范围是 DFC2020 测试集上的逐类精度,以及五个 Sentinel-2 场址(农业、工业与沙漠地貌)上的交互式运行;所有计时来自单线程 CPU 的一台机器。精度对照的是土地覆盖产品而非实例标注,因此对目标类而言这些分数是下界。
中心化并非总是有益:当目标占区域比例超过约 13% 时它会损失精度,而流程中尚无机制自动识别这一条件。相似度分数相对于被索引区域,不同区域之间的同一数值不可直接比较;合成时取日期窗口中位数,把时间压成一张图,只用了 Sentinel-2 十三个波段中的三个。
