把模型当作不可信组件:确定性监视器挡住注入攻击,但语义伪造仍留残余
核心概要
工具型AI智能体把读到的数据与指令混在同一通道,提示注入因此是结构性问题。一项研究在13个任务、12个工具的可执行环境中,用同一个效果判定器比较提示词护栏、模型外确定性监视器、人工审批与污点追踪,并在Qwen2.5-1.5B与Qwen2.5-7B上实测:任务绑定监视器只放行1.3%和7.7%的攻击,而模型在64%和84%的攻击回合里提出了攻击者的调用。残余风险集中在策略允许范围内的语义伪造,需靠污点触发的人工复核,而该部分结果仅来自模拟。
深度剖析
安全保证从模型内部移到模型之外:由一个小型确定性机制在每次工具调用前授权,模型本身被当作不可信、非确定性的组件。 此前的做法是让模型更擅长忽略注入文本,其安全论证是概率性的,并假设攻击者不自适应。 在13个任务、12个工具的可执行环境中,用不咨询任何防御的效果判定器衡量,任务绑定监视器在Qwen2.5-1.5B和Qwen2.5-7B上分别只放行1.3%和7.7%的攻击回合,而模型在64%和84%的回合里提出了攻击者的调用。
监视器的实现质量决定它能否挡住参数层面的规避,粗糙实现与加固实现差距明显。 在33个有效攻击变体中,仅靠工具白名单会放行27个,朴素参数检查放行18个,加固参数检查放行6个,任务绑定能力放行1个。 面对会模糊参数的A3自适应攻击者,朴素监视器在25次尝试时攻击成功率为84.6%,加固监视器为30.8%;面对不做参数模糊的攻击者,两者无法区分。
人工审批只有放在确定性监视器之后才有意义,且需要确定性的审批预算来抵御审批轰炸。 只有人工加污点追踪、没有监视器时,面对完全被攻陷的模型会出现100.0%的严重动作和10.00的危害值。 在模拟中,污点触发复核把任务绑定监视器的残余危害从0.69降到0.26、攻击成功率从23.1%降到8.7%;1到2次审批预算把无监视器方案的危害从10.0降到2.3至4.4。
启示与展望
已演示的范围是13个作者编写的任务模板、12个工具、一个效果判定器,以及Qwen2.5-1.5B与Qwen2.5-7B两个开源权重模型上的静态攻击族;人工审批与污点追踪层只在模拟中运行,未对真实模型测试。
模型大多处于模拟状态:护栏在自适应攻击下的侵蚀、审阅者模型与污点追踪失效仍是假设,且较大模型的检测器组合与所假设的侵蚀规律相矛盾;判定器要求攻击者的精确措辞,改写式语义伪造会被少计;无法解码或为空的输出在Qwen2.5-1.5B和Qwen2.5-7B上分别占攻击回合的13%和1%,因此攻击率是下界。
