小模型智能体不再自己写安全策略:CapLite改用工具模式与请求原文,13,935次注入攻击无一得手
面向小型开源模型智能体的提示注入防御CapLite不再让模型编写安全产物,而是从工具模式推导策略、在读取任何工具结果前锁定写调用,并要求每个决定收件人、金额或目标的参数都出自用户请求。在AgentDojo的15个开源权重模型上,13,935个受攻击回合中没有一次攻击成功,受攻击下的任务效用为29.0%,与CaMeL的27.2%相当,而每回合消耗17.1k token,仅为CaMeL的18%。
面向小型开源模型智能体的提示注入防御CapLite不再让模型编写安全产物,而是从工具模式推导策略、在读取任何工具结果前锁定写调用,并要求每个决定收件人、金额或目标的参数都出自用户请求。在AgentDojo的15个开源权重模型上,13,935个受攻击回合中没有一次攻击成功,受攻击下的任务效用为29.0%,与CaMeL的27.2%相当,而每回合消耗17.1k token,仅为CaMeL的18%。
已读完全部报道