跳到主要内容
返回时间线
arXiv来源发表:

裁剪之外的历史不再丢弃:CanopyKV 只留四分之一 KV,MME-Lite 准确率反升 10.47 个百分点

核心概要

主动视觉推理模型靠反复裁剪图像、调用工具来查找细节,但每轮新增的裁剪和推理文本都会撑大键值缓存,压缩时又容易把后续还要用的旧证据删掉。CanopyKV 把工具调用记录的裁剪父子关系当作保留信号,优先留下新裁剪覆盖不到的父图上下文,并让已选历史在后续分支访问中保持不变。在 MME-Lite 上它只保留 Dense 全部 KV 的 24.63%,准确率提高 10.47 个百分点,完整任务耗时从 53.12 秒降到 32.35 秒。

Source-provided article image: CanopyKV: Remember beyond the Crop for Fast Active Visual Reasoning
arXiv

深度剖析

主动视觉推理的缓存压缩不再只按注意力大小或新旧程度挑历史,而是按图像裁剪之间的父子关系决定留什么。 此前的键值缓存压缩方法依据注意力统计、时间新旧、文本优先级、跨模态相关性或语义多样性来估计保留价值,这些信号没有区分被新裁剪局部替换的证据与后续探索仍需要的互补信息。 在 VisualProbe、V*、HR-Bench 4K/8K 和 MME-Lite 五个评测组上,CanopyKV 的准确率均高于 Dense 和表中其余压缩方法;MME-Lite 上保留 24.63% 的总 KV,准确率 53.52%,比 Dense 高 10.47 个百分点,比最强基线 MixKV 高 3.70 个百分点。

保留哪些历史由工具元数据直接给出,不需要额外的注意力打分或前向计算。 方法按来源配额在根图、各裁剪来源和文本之间分配保留行数,再沿裁剪的父链把父图配额偏向新裁剪覆盖不到的区域,被保护的指令、问题和最近控制状态行始终保留。 在 320 个样本、290 个源图簇的替换实验中,删除新裁剪覆盖范围内的父图证据只让事实读出准确率下降 1.56 个百分点,删除覆盖范围外的父图证据则下降 24.84 个百分点,说明裁剪之外的父图上下文才是保留重点。

已选历史在后续分支访问中保持固定,使互补证据在搜索焦点转移后仍可被读出。 若在每次交接时重新均匀采样,访问其他分支八次后保留的父图行从 296 降到 6,读出准确率跌到 22.46%;固定历史则维持 90.82%。 在固定推理流的回放中,CanopyKV 的缓存维护耗时 3.72 秒,VL-Cache 为 11.91 秒,MixKV 为 22.83 秒;在相同推理流上完整执行耗时 66.5 秒,Dense 为 92.3 秒。

启示与展望

评测在 Mini-o3-7B-v1(基于 Qwen2.5-VL)上进行,覆盖 VisualProbe、V*、HR-Bench 4K/8K 和 MME-Lite 的完整题目集,单条轨迹、BF16 贪心解码、最多 32 轮,并在 H20 GPU 上以批大小一计时。方法依赖裁剪工具记录的父图与坐标元数据,适用于基于裁剪的主动视觉推理流程。

预算扫描显示收益有下限:在 VisualProbe 的 358 题子集上,保留 12.65% KV 时准确率降到 35.75%,搜索轮数升到 11.37,耗时升到 40.15 秒。作者也指出,更小的缓存不必然带来更高准确率或更短完成时间,保留内容与执行效率需要一起考虑。