跳到主要内容
返回时间线
arXiv来源发表:

重复token提示击穿KV缓存混淆:一次校准即可还原任意请求的token多重集,跨11个模型达100%

核心概要

KV缓存混淆类防御把安全性寄托在每块重新随机置换上,但攻击者只要提交一段重复token的提示,置换就在数据矩阵上退化为恒等,可观测状态从置换群规模塌缩到与块长同阶。利用这些状态之间的秩一差异,攻击者无需防御方密钥即可解出一个等价的去混淆算子,且在同一密钥周期内跨请求复用。在KV-Cloak上,一次校准后对3000条WildChat真实提示、11个模型、13种配置的token多重集恢复率为100%,包括运行中vLLM引擎产生的缓存。

Source-provided article image: When Shuffling Fails: Token Recovery from Obfuscated KV Caches
arXiv

深度剖析

KV缓存混淆防御的随机置换可以被攻击者自己选择的输入抵消,缓存块中承载的token内容因此可被还原。 这类防御此前把每块新采样的行置换当作主要屏障,理由是置换群规模大到无法暴力搜索。 在KV-Cloak上,重复token探针使每个KV头恰好形成与块长相同数量的可区分状态簇,簇间分离比在每个头都超过1324.6。

攻击者从这些状态之间的秩一差异中解出等价去混淆算子,再用公开模型的token字典把还原出的行匹配成token多重集。 该算子只需在攻击者自己的探针块上校准一次,随后在同一密钥周期内对他人请求的缓存块被动生效。 在3000条WildChat提示、11个模型(0.5B至32B)、13种配置上,token多重集恢复为116571072/116571072,即100%,其中包含运行中vLLM引擎产生的缓存。

恢复出的token多重集足以支撑进一步的隐私后果:语言模型重排可还原语义内容,闭集匹配可定位具体敏感值。 多重集本身不含块内顺序,因此顺序需要单独推断,敏感值识别则不需要顺序。 在602条提示的子集上,束搜索重排后的句向量余弦均值为0.947;在100个合成敏感值案例中,期望top-1准确率为97.5%,top-5与top-10均为100%。

启示与展望

演示范围限于KV-Cloak官方实现的第一层Value块,攻击要求探针与目标处于同一密钥周期,即共享行变换、列变换与标记;评估使用英文WildChat对话、16 token块为主并另测8与32 token块,以及单张A100上的FP32推理。VeilKV的正确性与篡改拒绝在测试的软件与vLLM 0.8.5.post1版本中验证。

敏感值识别是在已知请求模板并给定100个同类型候选的闭集设定下测得的,不等同于无约束的凭据恢复;代数输出不给出块内位置,顺序需靠语言模型先验推断,602条提示中仅1条完全顺序正确。VeilKV相对未融合KV-Cloak的保护耗时明显更高,且生产部署还需硬件级密钥隔离与防回滚的epoch账本。