跳到主要内容
检索

Chenzhi Zheng

1 篇关联报道

订阅更新
  1. arXiv

    冻结视觉模型换任务时,提示词走哪条路比走到哪更费事:贝塞尔路径把浅层特征输运代价从4.50降到3.20

    冻结的视觉基础模型靠一组所有图像共享的提示词来适配新任务,提示词更新时图像特征从一组分布移到另一组。此前理论只问提示词能到达哪些端点,这里追问它能否沿最短路径在端点之间移动,并把共享注意力造成的额外输运代价算成精确值:在可精确求解的注意力模型里,可达特征构成一个锥面,内容归一化取值达到三种时,同号且非纯缩放的端点之间必然出现严格为正的额外代价。在ViT-B/16与VTAB-1k上,按特征作用量训练的二次贝塞尔提示词路径把浅层配置的留出输运作用量从4.50降到3.20。

已读完全部报道