跳到主要内容
检索

# PACE(补丁-词元跨模态增强方法)

1 篇关联报道

订阅更新
  1. arXiv

    CLIP增量学习不再只看[CLS]与[EOS]:PACE把局部图块和词元拉进决策,九个基准上末次准确率领先

    基于CLIP的类增量学习此前主要用全局的视觉[CLS]与文本[EOS]表示做跨模态匹配,图像块级细节和词元级语义在最终匹配中被忽略。PACE从冻结的CLIP编码器中选出与全局表示最相关的top-k视觉图块和文本词元,用跨模态融合模块把局部信息注入全局表示,并以子空间投影约束共享融合权重的更新。在九个基准数据集上,PACE的末次准确率与平均准确率均高于所列对比方法,例如Cars B0 Inc10上末次准确率为93.94。

已读完全部报道