跳到主要内容
检索

# 空间残差词元

1 篇关联报道

订阅更新
  1. arXiv

    Braco 把视觉 token 压缩从“挑token”改成“换表示”,在 23–64 倍压缩下达到 95.2% 归一化精度并把 prefill FLOPs 降 84.2%–86.7%

    该工作把极端视觉 token 压缩重新表述为 token 参数化问题,将“基变换与结构化截断”(决定保留子空间/可压缩性)与“坐标组织”(决定优化与跨模态对齐/可学习性)分离,并据此设计四步轻量编码器 Braco(变换基截断、输入无关的基坐标嵌入、随预算变化的正交重参数化、来自轻量池化的学习式空间残差 token),实验显示 Braco 在 23–64 倍压缩下形成更优的精度—效率前沿、在 144 倍压缩下仍具竞争力,达到 95.2% 精度并把 prefill FLOPs 相对未压缩上界降低 84.2%–86.7%,相比此前方法在精度持平或提升的同时实现最高约 36% 端到端加速,压缩器延迟/FLOPs 分别低 16.6 倍/78.8 倍。

已读完全部报道