跳到主要内容
返回时间线
arXiv来源发表:

冻结编码器也能伸缩嵌入维度:HERL 用双曲几何把 8 到 8192 维压进单卡两小时

核心概要

HERL 让预训练编码器的嵌入维度可以在事后压缩和扩展,而不必重新训练编码器。此前 Matryoshka 表示学习需要昂贵的端到端重训且不支持事后扩展,轻量适配器路线又只能压缩或受限于单一维度。HERL 用一个 MLP 把编码器输出映射到洛伦兹双曲空间,并在该几何下用对比损失训练,在图像与文本任务上于 32 维到 8192 维范围内保持下游表现,训练 8 到 8192 维表示约需单卡两小时。

Source-provided article image: Elastic Representations via Hyperbolic Geometry
arXiv

深度剖析

嵌入维度现在可以在编码器冻结之后按部署预算调整,既能压缩也能扩展到超过原始维度。 Matryoshka 表示学习靠嵌套嵌入实现可截断,但需要端到端重训编码器;SMEC 只支持单一降维目标,CSR 在比编码器大四倍的维度上工作,Matryoshka-Adaptor 在激进压缩下性能下降。 在 ImageNet-1k 的 1-NN 检索与线性探测上,HERL 在 8 到 8192 维全程保持稳定,而随机线性投影和 SVD 在 128 维以下明显退化;文本侧 32 维无监督 HERL 在 MTOPIntent 上取得 94.39% Top-1,对比 4096 维完整 NV-Embed-V2 的 93.58%。

适配器由一个把欧氏嵌入重参数化的 MLP 和一个双曲空间中的对比目标组成,压缩与几何是联合设计的。 此前的适配器要么在欧氏空间里做投影,要么把压缩和映射分成两个独立阶段。 MLP 输出经原点处的指数映射送到洛伦兹双曲面,相似度用洛伦兹度量计算,梯度全程穿过该映射回传;推理时直接取前 k 维,无需双曲运算。图像实验用 ResNet-50 骨干,文本实验用 NV-Embed-V2,均在单张 H100 上完成。

双曲几何带来的收益主要来自训练目标,而不是适配器本身的层。 把适配器整体改成双曲结构是自然的替代方案。 在 32 维嵌入上,全双曲适配器相对欧氏适配器只有至多边际提升,训练时间从 683 秒增至 2964 秒,每批 256 条推理从 0.58 秒增至 1.05 秒。

启示与展望

演示范围覆盖 ImageNet-1k 上的 ResNet-50 图像嵌入,以及 MTEB 分类、聚类、检索任务上的 NV-Embed-V2 文本嵌入,全部实验在单张 H100 上完成;作者提出把方法扩展到更多模态和生成式建模作为后续方向。

检索任务上 HERL 表现略低,作者将其归因于标准检索流程先把嵌入投影到单位超球面、丢弃了双曲空间中承载语义区分的半径信息,改用洛伦兹距离评分后三个检索数据集均有提升;曲率过高时层级容量与局部保真度之间存在权衡,性能会下降。