跳到主要内容
检索

# 视觉词元压缩

5 篇关联报道

订阅更新
  1. arXiv

    视觉token不必一律排序:BtsPruner只留576个中的32个,仍保住稠密模型91.6%的性能

    大型视觉语言模型要为每张图处理数百到数千个视觉token,推理开销随之上升。此前的免训练剪枝方法用同一套重要性标准给所有视觉token排序,忽略了它们在编码过程中承担的角色会发生变化。BtsPruner先依据注意力集中度的变化定位角色转折点,再从较深层挑出被全局引用的代表token、从较浅层递归取回局部细节token,在固定预算下同时保留两类角色;在LLaVA-1.5-7B上只保留576个视觉token中的32个(5.6%),仍保住稠密模型91.6%的性能。

  2. arXiv

    视频大模型压缩不再全图比对:借压缩码流里的运动与残差,比对量降六成

    视频大模型压缩视觉token时,压缩决策本身也要做大量特征比对。新方法把压缩视频里已有的参考帧依赖、运动矢量和残差对齐到token网格,用它们先圈出小候选集,再在候选集内做局部视觉相似度判断。在三个视频大模型和四个视频理解基准上,性能与免训练基线FlashVID相当、部分设置更好,token保护与跨帧匹配的比对量明显下降。

  3. arXiv

    V-CoLA 用线性注意力内在信号压缩视觉 token,保留 12.5% 仍达 88% 性能并获最高 6.15 倍预填充加速

    作者提出免训练的视觉 token 压缩框架 V-CoLA,针对含线性注意力的混合视觉语言模型,从线性注意力有界循环状态的保留偏好中导出唯一性感知的重要性准则,并配合自适应分块合并与深层视觉 token 提前退出;在 Qwen3.5-9B 等模型上,保留 50% 视觉 token 时达到原性能的 99.5%,保留 12.5% 时仍超过 88.0%,预填充加速 1.86 至 6.15 倍。

  4. arXiv

    Foresight 让冻结的 Qwen3-VL-8B 在流式视频中自行规划未来感知,OmniPro Online 联合 F1 达 23.0,超过最强训练基线 9.5%

    作者提出 Foresight:一种免训练的双流架构,用两个共享权重、输入编码器与 KV 缓存的 Siamese LLM,让一个副本持续摄取视频流、另一个副本提前读取同一因果状态并生成计划,决定何时再推理、届时检查什么、以及其间采样多密;在冻结的 Qwen3-VL-8B 上,OmniPro Online 平均联合 F1 达 23.0(最强训练基线 MiniCPM-o 4.5 为 13.5),StreamingBench 提升骨干 6.7 分并取得最优总体成绩,OVO-Bench 提升 15.4 分,其中证据在视频后段才出现的 Forward Active Responding 提升最大,为 18.7 分。

  5. arXiv

    Braco 把视觉 token 压缩从“挑token”改成“换表示”,在 23–64 倍压缩下达到 95.2% 归一化精度并把 prefill FLOPs 降 84.2%–86.7%

    该工作把极端视觉 token 压缩重新表述为 token 参数化问题,将“基变换与结构化截断”(决定保留子空间/可压缩性)与“坐标组织”(决定优化与跨模态对齐/可学习性)分离,并据此设计四步轻量编码器 Braco(变换基截断、输入无关的基坐标嵌入、随预算变化的正交重参数化、来自轻量池化的学习式空间残差 token),实验显示 Braco 在 23–64 倍压缩下形成更优的精度—效率前沿、在 144 倍压缩下仍具竞争力,达到 95.2% 精度并把 prefill FLOPs 相对未压缩上界降低 84.2%–86.7%,相比此前方法在精度持平或提升的同时实现最高约 36% 端到端加速,压缩器延迟/FLOPs 分别低 16.6 倍/78.8 倍。

已读完全部报道