跳到主要内容
检索

# 双曲弹性表示学习(HERL)

1 篇关联报道

订阅更新
  1. arXiv

    冻结编码器也能伸缩嵌入维度:HERL 用双曲几何把 8 到 8192 维压进单卡两小时

    HERL 让预训练编码器的嵌入维度可以在事后压缩和扩展,而不必重新训练编码器。此前 Matryoshka 表示学习需要昂贵的端到端重训且不支持事后扩展,轻量适配器路线又只能压缩或受限于单一维度。HERL 用一个 MLP 把编码器输出映射到洛伦兹双曲空间,并在该几何下用对比损失训练,在图像与文本任务上于 32 维到 8192 维范围内保持下游表现,训练 8 到 8192 维表示约需单卡两小时。

已读完全部报道