不看目标图像也能分割雨夜街景:CROMPT用跨模态提示让CLIP适应恶劣天气
语义分割模型遇到夜间、雨雾等未见场景时性能会明显下降,而零样本域适应只靠目标域的文字描述完成适配,训练时不需要任何目标图像。CROMPT把可学习的文本提示与固定的随机视觉提示结合起来微调CLIP视觉编码器,并按由易到难的顺序分两阶段适配,在Cityscapes训练、ACDC与GTA5评测的设置下,ACDC上平均比PØDA和ULDA分别高2.63%和1.63% mIoU,推理开销与基线模型相同。
语义分割模型遇到夜间、雨雾等未见场景时性能会明显下降,而零样本域适应只靠目标域的文字描述完成适配,训练时不需要任何目标图像。CROMPT把可学习的文本提示与固定的随机视觉提示结合起来微调CLIP视觉编码器,并按由易到难的顺序分两阶段适配,在Cityscapes训练、ACDC与GTA5评测的设置下,ACDC上平均比PØDA和ULDA分别高2.63%和1.63% mIoU,推理开销与基线模型相同。
已读完全部报道