跳到主要内容
返回时间线
arXiv来源发表:

遥感分割不再无条件采纳修正:GeoReVis保留被弃候选的区域证据,LaSeRS gIoU达72.00%

核心概要

语言引导的遥感分割常靠反馈修正掩码,但修正可能改坏原本正确的区域,而整体最优的候选掩码也可能漏掉次优掩码里的正确片段。GeoReVis把修正、候选选择与跨掩码证据合并统一起来:只采纳执行后确有改善的修正,并把各候选的空间分歧切成可组合区域,在完整指令与图像上下文下联合决定保留哪些区域。在LaSeRS上它取得72.00% gIoU和77.01% cIoU,在ReVis-Eval上把退化率从SocioReasoner∗的17.90%降到6.59%。

AI-generated editorial illustration: GeoReVis: Learning Selective Revision and Evidence Consolidation for Remote Sensing Segmentation

深度剖析

GeoReVis把遥感分割的反馈修正从“改了就采纳”改成“执行后比较再采纳”,并让被淘汰的候选掩码继续贡献局部证据。 此前的反馈修正方法把预测掩码送回模型再修正,或比较多个预测挑一个更好的整张掩码;分析显示修正会在27.81%和19.34%的LaSeRS样本上让IoU下降超过0.01,即使挑中IoU最高的候选,其gIoU仍低于能取用所有候选目标证据的区域上界。 在1,158个LaSeRS样本上,GeoReVis-R的最优候选为66.94% gIoU、区域上界为75.39%,SocioReasoner∗对应为63.90%与68.97%;在ReVis-Eval上GeoReVis的IoU增益为5.28%、退化率6.59%,SocioReasoner∗为1.24%与17.90%。

系统把每一轮的修正动作、候选比较和区域合并都交给同一个2B规模视觉语言模型的不同角色适配器完成,冻结的分割器只负责把提示变成掩码。 修正被写成替换、增加、擦除三类带框和带符号点的可执行动作,由分割器执行后得到候选;候选选择在完整指令下比较整掩码视图与差异视图,选出参考掩码。 跨掩码证据合并把去重后各候选的空间分歧按成员签名切成八连通区域,在完整指令与图像上下文下联合预测每个区域是否保留,再与参考掩码比较决定是否采纳;在ReVis-Eval的3,474个候选库上GeoReVis达到70.41% IoU,高于最优候选的69.37%。

训练信号来自模型自己实际执行的结果,而不是只对齐整张掩码的IoU。 执行驱动数据流水线用真实执行后的IoU变化标注哪些修正值得学、哪些候选更优、哪些区域该合并,把监督扩展到修正动作、候选偏好和区域组合三个层面。 在LaSeRS组件消融中,经执行验证的修正把初始分割从63.28%提升到64.64% gIoU,未经验证的修正则降到62.71%;加入候选选择后退化率从27.81%降到10.36%,再加入证据合并后gIoU达到72.00%。

启示与展望

演示范围是语言引导的遥感分割:LaSeRS、EarthReason、RRSIS-D、RefSegRS与RISBench五个基准,加上基于LaSeRS留出场景构建的ReVis-Eval过程评测;每个基准单独训练一个GeoReVis模型,默认推理三轮。

证据合并只能使用已观测候选的并集,若某目标区域在初始分割和所有修正轮中都未出现,合并无法把它找回;三轮之后增益趋于饱和,第四轮只把gIoU从72.00%提到72.06%,而每查询耗时从3.98秒增至5.99秒;EarthReason的部分标注边界粗糙,会给执行驱动监督带来噪声。