冻结视觉模型换任务时,提示词走哪条路比走到哪更费事:贝塞尔路径把浅层特征输运代价从4.50降到3.20
核心概要
冻结的视觉基础模型靠一组所有图像共享的提示词来适配新任务,提示词更新时图像特征从一组分布移到另一组。此前理论只问提示词能到达哪些端点,这里追问它能否沿最短路径在端点之间移动,并把共享注意力造成的额外输运代价算成精确值:在可精确求解的注意力模型里,可达特征构成一个锥面,内容归一化取值达到三种时,同号且非纯缩放的端点之间必然出现严格为正的额外代价。在ViT-B/16与VTAB-1k上,按特征作用量训练的二次贝塞尔提示词路径把浅层配置的留出输运作用量从4.50降到3.20。
深度剖析
共享提示词在冻结注意力下未必能沿特征分布的最短路径移动,这一限制可以被量化成超出最短路径的额外输运代价。 此前的提示词理论只考察提示词能到达哪些端点,而不考察端点之间是否存在可达的最短路径。 在一个可精确求解的标量注意力头中,可达特征构成锥面,展开成平面后可以给出每一对端点的精确最小作用量,并在短弧上给出显式最优提示词。
把锥面展开成平面后,最短路径就是展开平面上的直线弦,再把它提升回共享提示词即可得到最优插值。 方法名为developed chord,即展开弦:先在锥坐标中取两端点之间的直线,再按一维求积与单调反演还原提示词聚合量。 在24个预设算例上,展开弦的相对作用量为1.0000,而按锥坐标线性插值并做弧长重定时为1.0146,按聚合量线性插值为1.4300。
内容归一化的种类数决定额外代价是否出现:两种归一化时方向曲线沿最短球面弧走,三种及以上时方向曲线被弯离该弧。 同号且非纯缩放的端点之间,两种归一化没有间隙,三种归一化在任意角度都给出严格为正的间隙。 该阈值在增加提示词数量、加入小幅内容扰动以及对齐的多头输出下仍然成立;独立控制的多头输出相加则可以走直线并消除间隙。
在冻结ViT上,按特征作用量优化的二次贝塞尔提示词路径比同一对端点间的交叉熵训练路径移动更少。 交叉熵路径只压低时间平均损失,不直接约束特征沿路径的移动量。 在ViT-B/16与VTAB-1k上,浅层提示配置的留出输运作用量从4.50降到3.20,深层配置从6.30降到4.20;但交叉熵路径在最小准确率上更高,浅层为68.8对67.4。
启示与展望
已展示的范围是可精确求解的标量共享查询注意力头,以及在ViT-B/16上、VTAB-1k的19个任务、每任务5对循环种子端点之间固定端点的路径比较;无标签漂移实验使用Hendrycks高斯噪声严重度3下的7个VTAB-Natural任务,冻结线性探针,校准与评估各用128张图像。
离散化的ViT评估并未在网格节点之间建立非空泛的认证界;当有带标签的校准数据时,交叉熵训练路径仍保持更高的最小准确率,混合目标把最小准确率保持在交叉熵的0.1个百分点以内。
