跳到主要内容
返回时间线
arXiv来源发表:

红外热像不再打乱CLIP的语言对齐:EmergeFuse把热线索变成未见类修正,未见类mIoU最高提升4.755个百分点

核心概要

可见光-红外融合能把热信息带进图像,但CLIP主要在RGB图像上预训练,直接加入红外反而可能破坏视觉-语言对齐,使热线索变成语义干扰。EmergeFuse以RGB预测为锚,按类别相对地挑选能纠正RGB误判的热证据,再用文本对比把这些修正写回融合图像。在FMB、MFNet、SemanticRT三个基准上,其未见类mIoU分别比最强常规融合基线高3.308、4.755、3.046个百分点,未见类严格互补转换率最高提升15.730个百分点,同时保持有竞争力的融合质量。

Source-provided article image: Fuse to Recognize the Unseen: Class-Relative Infrared-Visible Fusion for Open-Vocabulary Semantic Segmentation
arXiv

深度剖析

红外-可见光融合开始被用来提升开放词汇语义分割对未见类别的识别,而不再只服务于图像观感或已见类任务。 此前的融合方法多通过任务损失或下游特征把融合与已见类监督任务绑定,热信息能否帮助识别训练中未出现的类别并未被单独处理。 在FMB、MFNet、SemanticRT三个基准上,EmergeFuse的未见类mIoU达到33.772%、37.849%、30.194%,分别比最强常规融合基线高3.308、4.755、3.046个百分点。

做法是让红外证据只在能纠正当前RGB判断时才进入融合图像,而不是把热信息整体混入。 此前的融合后再识别流程不区分热线索是支持还是反驳当前RGB预测的类别,互补证据可能纠正不了误判,误导线索还可能破坏原本可靠的RGB语义。 在FMB上,完整模型的未见类严格互补转换率为89.349%,比最强对比方法高14.058个百分点;去掉证据校准器或语义门后,该指标分别降到83.960%和82.804%。

类别相对线索选择以每个像素得分最高的RGB类别为参照,比较RGB与红外的语义响应和校准后的热证据,竞争性地选出需要修正的类别或不修正。 这一步把热证据转成带符号的类别修正请求,并保留一个不修正选项,使互补证据弱时倾向维持RGB预测。 在FMB上,仅保留线索选择的变体未见类mIoU为30.868%、hIoU为36.579%,均高于仅用重建损失的基础变体的26.384%和32.294%。

文本对比图像校正把选中的修正请求翻译成文本对比方向,再经证据门控更新多尺度融合特征,最终由同一个冻结的开放词汇分割读取器完成分割。 修正作用在融合图像的特征上,而不是直接改动分割预测,因此无需针对未见类别重新训练。 在FMB上,完整模型未见类mIoU为33.772%、hIoU为39.379%,高于加入语义监督和文本条件特征调制的变体的32.118%和37.839%。

启示与展望

实验在FMB、MFNet、SemanticRT三个基准上进行,采用已见到未见的评估协议,像素级语义监督只覆盖已见类别,未见类别不重新训练即评估;所有融合方法使用相同的文本查询和同一个冻结的开放词汇读取器。

Open-RGBT因官方实现不可用而未纳入定量比较;跨数据集零样本结果只报告了在FMB上训练后迁移到MFNet和SemanticRT的情形;在Hard+8干扰类别条件下,未见类mIoU下降1.355个百分点,未见类严格互补转换率保持在85.906%。