跳到主要内容
返回时间线
arXiv来源发表:

冻结的视觉语言模型只判标签、不碰像素:SEER在八个分割基准上把平均mIoU推到58.0

核心概要

开放词汇语义分割的剩余错误多是局部的,而直接让视觉语言模型改像素并不可靠。SEER把修复拆成两步:冻结的视觉语言模型只在由分割分数导出的少量候选标签中做闭集核验,像素归属仍由分割模型自己的分数场决定。在八个标准基准上,ViT-L/14配置下平均mIoU达到58.0,且不更新分割权重。

Source-provided article image: SEER: Semantic Evidence for Executable Region Propagation in Open-Vocabulary Semantic Segmentation
arXiv

深度剖析

开放词汇语义分割的修复被重新定义为一个可执行动作:既要给出视觉上成立的标签,也要保证该标签在当前词表下合法,并落到正确的像素上。 此前的免训练方法主要改进初始预测,例如调整CLIP注意力、校准图块与文本相似度或注入视觉先验,瓶颈因此从全局识别转向边界溢出、物体部件混淆和材质与物体歧义这类局部残留。 在固定预测图与分数张量、只施加证据到执行这一层的诊断中,八个基准都出现提升,说明增益不来自骨干、分辨率或训练配方的改变。

视觉语言模型只负责在候选集中选一个标签或选择弃权,不预测也不编辑掩码。 候选集由冻结的分数张量构造,默认是当前基础标签、最多三个非基础备选和“不确定”,词表之外的标签不可执行。 在四个机制基准上,默认的top-3候选使目标标签落入候选集的比例达到99.9%;过滤把已执行回答的决策精度从执行前的57.9%提高到82.3%,36.2%的审核不改变预测,仅0.2%无效或越界。

标签通过核验后,由分割分数场决定传播范围:连贯高置信区域可以整块传播,物体或边界风险区域只做保守的分数支撑传播。 在相同输入下,纯分数规则、普通CLIP裁剪分类器、只带分数支撑的视觉语言模型回答以及Dense-CRF平滑的平均增益分别为2.64、3.69、1.70和0.01 mIoU,均低于完整SEER的7.52。 同一套流程原样接到ProxyCLIP、ResCLIP、Trident和CorrCLIP四个分割基座上,每个基座与基准组合都提升,平均增益在4.53到5.93 mIoU之间。

启示与展望

演示范围是八个自然图像分割基准上的离线或选择性修复,使用固定的SAM2提议库和本地部署的Qwen3.5-9B验证器,系数与阈值在评估域上一次性选定后冻结。完整系统在实测配置下增加9.3%的缓存延迟或19.3%的冷启动延迟,验证器峰值显存18.7GB。

残留错误集中在混合提议、细结构、候选缺失和分数支撑碎片化的区域,门控与保守路径会减少有害写入,但部分困难区域仍保持原样。验证器的公开文档没有提供样本级预训练清单,因此不能假定它与分割或定位数据零重叠,作者改用另外三个视觉语言模型家族和CLIP做替换测试。作者也说明未声称域盲开发,也未做医学或遥感验证。