冻结编码器也能伸缩嵌入维度:HERL 用双曲几何把 8 到 8192 维压进单卡两小时
HERL 让预训练编码器的嵌入维度可以在事后压缩和扩展,而不必重新训练编码器。此前 Matryoshka 表示学习需要昂贵的端到端重训且不支持事后扩展,轻量适配器路线又只能压缩或受限于单一维度。HERL 用一个 MLP 把编码器输出映射到洛伦兹双曲空间,并在该几何下用对比损失训练,在图像与文本任务上于 32 维到 8192 维范围内保持下游表现,训练 8 到 8192 维表示约需单卡两小时。
HERL 让预训练编码器的嵌入维度可以在事后压缩和扩展,而不必重新训练编码器。此前 Matryoshka 表示学习需要昂贵的端到端重训且不支持事后扩展,轻量适配器路线又只能压缩或受限于单一维度。HERL 用一个 MLP 把编码器输出映射到洛伦兹双曲空间,并在该几何下用对比损失训练,在图像与文本任务上于 32 维到 8192 维范围内保持下游表现,训练 8 到 8192 维表示约需单卡两小时。
已读完全部报道