不看目标图像也能分割雨夜街景:CROMPT用跨模态提示让CLIP适应恶劣天气
核心概要
语义分割模型遇到夜间、雨雾等未见场景时性能会明显下降,而零样本域适应只靠目标域的文字描述完成适配,训练时不需要任何目标图像。CROMPT把可学习的文本提示与固定的随机视觉提示结合起来微调CLIP视觉编码器,并按由易到难的顺序分两阶段适配,在Cityscapes训练、ACDC与GTA5评测的设置下,ACDC上平均比PØDA和ULDA分别高2.63%和1.63% mIoU,推理开销与基线模型相同。
深度剖析
语义分割模型在夜间、雨、雪、雾等与训练分布不同的场景中精度会下降,CROMPT让同一个模型仅凭目标域的文字描述就适应这些未见场景,推理时不需要事先知道图像属于哪个域。 此前的PØDA需要预先知道目标域标识,并为每个目标域单独训练一个由CLIP文本嵌入引导的模型,推理前必须先判断域再选模型;ULDA虽统一了模型,但仍依赖冻结的编码器,不为下游分割任务微调。 以Cityscapes为源域、在ACDC和GTA5上评测,CROMPT在ACDC上平均比PØDA和ULDA分别高2.63%和1.63% mIoU,在GTA5上分别高0.93和0.91 mIoU;在源域到夜间和源域到雨天的设置中,CROMA-VL比ULDA高2.7%,CROMPT在源域到雨天高2.45%。
适配分两步完成:先让CLIP视觉编码器在训练中变得可训练,同时向输入图像加入固定位置的随机视觉提示,再把多个域的文字提示一起送进冻结的CLIP文本编码器,让模型在每次迭代中同时看到多种候选风格。 随机视觉提示(RVP)与常规视觉提示不同:常规做法冻结编码器、只优化加在输入上的连续提示参数,而RVP本身不可学习、只起噪声作用,真正被微调的是CLIP视觉编码器,因此不增加可训练参数。 文本提示采用混合策略,一部分域用可学习的软提示、另一部分域用“driving at night”这类硬编码描述,两组域互不重叠;视觉提示消融中,不可学习的随机块提示取得39.65的平均mIoU,可学习的四角加中心提示为39.62,可学习填充提示为39.34。
当不便调用大型视觉语言模型时,CROMPT改为由易到难的两阶段适配:第一阶段对困难域用可学习提示、对容易域用硬编码描述,第二阶段交换两者角色,并从第一阶段得到的中间模型继续训练。 CROMA-VL改用Qwen-VL按环境条件生成目标域描述,但消融显示简单的硬编码提示整体效果最好,而把适配扩展到三个阶段反而使性能回落到接近ULDA基线的水平。 两阶段消融中,CROMPT所用的结构化渐进适配策略在多种提示组合中取得最好的整体表现,而扩展到三阶段后性能一致下降;CROMA-VL在ACDC上比PØDA和ULDA分别高2.33%和1.55%。
启示与展望
评测以Cityscapes为源域,在ACDC官方406张验证图像和GTA5的1000张子集上进行,所有数据集共用19类标签空间,测试时目标图像按原始分辨率处理;方法基于CLIP-ResNet-50骨干的DeepLabv3+,适配阶段更新分割头与分类器,CROMPT的第一阶段还同时微调图像编码器。
消融显示引入Qwen-VL并不总带来提升,简单硬编码提示整体效果最好,而扩展到三阶段适配会使性能下降到接近ULDA基线;这些结果来自上述两个基准数据集和单一源域设置。
