PhaseCLIP把相位谱接进冻结CLIP的频域适配:五套遥感基准平均84.28%,最难数据集提升4.36点
PhaseCLIP把冻结CLIP视觉编码器的频域适配从只用振幅谱扩展到相位谱,并让同一组模块权重先学相位、再用振幅精修,因此不增加参数。在EuroSAT、PatternNet、UC Merced、RSSCN7和LSRS五套遥感基准、1到32样本与八个基线的统一协议下,它取得84.28%平均准确率,比只用振幅的FreqDIMFT高1.93点,在113类的LSRS上高出4.36点。
PhaseCLIP把冻结CLIP视觉编码器的频域适配从只用振幅谱扩展到相位谱,并让同一组模块权重先学相位、再用振幅精修,因此不增加参数。在EuroSAT、PatternNet、UC Merced、RSSCN7和LSRS五套遥感基准、1到32样本与八个基线的统一协议下,它取得84.28%平均准确率,比只用振幅的FreqDIMFT高1.93点,在113类的LSRS上高出4.36点。
少样本适配CLIP时,支撑集梯度的大小严重失准,但少数大幅值坐标的符号仍指向下降方向。SignSparseSGD与DynSignSparseSGD据此把梯度幅值只用于挑选更新位置,用固定幅值的符号决定更新方向,且不保存一阶、二阶动量。在11个数据集、3种CLIP骨干和5种每类样本数下,动态版本在全部15个骨干—样本数组合上取得最高平均准确率,ViT-B/16一 shot 为72.7%,比SO高1.3个百分点。
已读完全部报道