跳到主要内容
返回时间线
arXiv来源发表:

PhaseCLIP把相位谱接进冻结CLIP的频域适配:五套遥感基准平均84.28%,最难数据集提升4.36点

核心概要

PhaseCLIP把冻结CLIP视觉编码器的频域适配从只用振幅谱扩展到相位谱,并让同一组模块权重先学相位、再用振幅精修,因此不增加参数。在EuroSAT、PatternNet、UC Merced、RSSCN7和LSRS五套遥感基准、1到32样本与八个基线的统一协议下,它取得84.28%平均准确率,比只用振幅的FreqDIMFT高1.93点,在113类的LSRS上高出4.36点。

Source-provided article image: PhaseCLIP: Phase-Aware Frequency-Domain Adaptation of Vision-Language Models for Few-Shot Remote-Sensing Classification
arXiv

深度剖析

遥感场景分类的少样本适配多了一条信息来源:冻结的CLIP视觉编码器现在可以在频域里读取相位谱,而不只是振幅谱。 此前的频域适配方法只利用振幅谱或未分离的频域系数,相位谱这一携带空间结构的分量没有被单独使用。 在五套遥感数据集、1到32样本、三个随机种子的统一协议下,PhaseCLIP平均准确率84.28%,只用振幅的FreqDIMFT为82.36%,最强非频域基线Tip-Adapter-F为79.63%,30个数据集与样本数组合中23个由PhaseCLIP取得最好结果。

做法是在冻结的CLIP ViT-B/16视觉编码器里插入频域模块,让每个模块可以选择振幅谱、相位谱或两者并行。 模块先对图像块和Transformer词元网格做二维傅里叶变换,再用径向平均池化压缩频谱,只训练约1.30%的参数。 振幅与相位两条通路的参数布局完全相同,因此同一组权重可以先在相位上训练、再迁移到振幅上做第二阶段精修,两阶段方案不增加参数;并行双分支的PhaseCLIP-SB则要2.00%的可训练参数。

相位怎么与振幅结合,和是否使用相位同样重要。 并行处理两种频谱的PhaseCLIP-SB平均只比FreqDIMFT高0.53点,而顺序迁移的两个变体分别高1.84点和1.93点。 在LSRS上,只用振幅的FreqDIMFT以59.24%排第四,落后于CoOp的62.52%;加入相位后提升4.36点,与Tip-Adapter-F的63.62%基本持平,这是五个数据集中相位增益最大的一处。

启示与展望

结论建立在五套公开遥感场景分类数据集、CLIP ViT-B/16骨干、1到32样本设置和固定四六划分的训练测试协议上,所有方法共用同一数据增强;提示模板只对零样本CLIP、适配器与缓存方法以及频域方法统一为同一句,提示学习方法使用各自学习的提示词,优化超参数按各方法作者推荐设置。作者提出模块可扩展到其他遥感传感器、任务和领域,但本研究未做这些验证。

LSRS上PhaseCLIP的平均准确率63.60%与Tip-Adapter-F的63.62%属于统计持平,且在1、4、8样本处落后于该基线,直到16样本起才反超;RSSCN7接近饱和,32样本格由只用振幅的FreqDIMFT以微弱差距取得;数据增强的增益随样本数增加单调下降,高样本端个别格为轻微负值。