智能体之间直接传KV缓存有了防篡改水印:1500次交接全部检出,推理精度未见显著下降
核心概要
潜空间多智能体系统不再用文本传话,而是把KV缓存张量直接交给下一个智能体,这条连续通道此前没有完整性校验手段。KVMark在每次交接时向V缓存和K缓存嵌入无需训练、零比特的密钥水印,检测端用相关分数判断缓存是否被改动。在Qwen3-4B的四智能体流水线上,1500次交接全部检出、误报为零,GSM8K等四个基准的准确率变化落在采样误差内。
深度剖析
智能体之间的KV缓存交接现在可以被验证:接收方在处理缓存之前,能判断它是否来自预期的发送方、途中是否被改动。 此前的文本水印依赖解码时的词表采样,智能体行为水印针对离散的动作序列,两者都无法作用于连续的高维缓存张量;传输层的HMAC能挡住交接后的替换,却挡不住被攻陷端点用自身密钥签发的恶意缓存。 在Qwen3-4B、Planner-Critic-Refiner-Judger四智能体流水线上,500个GSM8K样本产生1500次交接验证,正确密钥下全部通过,随机密钥的分数接近零,最小正确分数与最大错误分数之间留有间隔。
水印按密钥选定的维度加入,并叠加随位置变化的符号,使不知道密钥的一方无法从统计量上找出哪些维度带了信号。 若沿固定维度施加恒定偏置,攻击者只要计算各维度的列均值就能定位水印;若各注意力头使用相同符号,跨头平均又会把信号保留下来。 在V缓存的抑制层与增强层以及全部K缓存层上,列均值、方差、峰度、极差、绝对均值、跨缓存相关等九种统计策略找出的真实水印维度最多为3.0/16,随机猜测的期望是2.0/16。
启示与展望
演示范围是共享同一Transformer架构的同构流水线:Qwen3-4B上的四智能体LatentMAS流程,以及Qwen3-8B上同一GSM8K基准的迁移测试;水印直接作用于缓存张量,不读取模型权重或分词器。
作者指出,符号模式锚定绝对token位置,动态缓存压缩、滑动窗口注意力或token驱逐会打乱序列索引并触发误报;三层强度参数针对Qwen3的层间幅值增长曲线调校,换到归一化方案不同的模型家族需要少量前向校准;该方法只保证张量层的传输完整性,无法识别读取输入后仍故意生成偏置内容的语义级操纵。
