跳到主要内容
返回时间线
arXiv来源发表:

安全护栏不再靠手工重写:Evolution Under Fire让攻击与防御同步进化,注入成功率降到3.0%

核心概要

工具型语言模型智能体要读邮件、网页和文档,恶意指令与正常任务指令走同一条通道,而现有防御多为手工设计、固定不变。Evolution Under Fire把完整可执行安全护栏的进化与自适应压力测试的进化串成三阶段:先在效用约束下用帕累托树搜索改护栏,再生成不破坏原任务的注入攻击,最后用这些攻击反馈继续搜索。在AgentDyn上以GPT-4o-mini为任务模型,进化后的护栏把攻击成功率从50.4%降到3.0%,同时提高干净任务与受攻击任务的效用。

Source-provided article image: Evolution Under Fire: Evolving Agent Safety Harnesses with Adaptive Injection Stressors
arXiv

深度剖析

智能体的安全防护从挑选某个固定机制,变成在固定评测环境里搜索一整套可执行护栏。 此前的提示提醒、内容过滤、权限策略、因果监控和动作审计各自是程序空间里的一个固定点,进一步改进依赖反复手工重新设计。 在AgentDyn上以GPT-4o-mini为任务模型,选出的护栏把攻击成功率从50.4%降到3.0%,干净效用从45.0%升到46.7%,受攻击效用从36.1%升到39.1%。

搜索只接受保住任务效用的候选,因此安全提升不是靠关掉有用行为换来的。 候选必须保留初始护栏在每个必需效用坐标上至少80%的成功数,未达标的候选留在档案里当反例,但不能成为父节点。 在同一低攻击成功率区间内,复现的防御没有一个保留同样多的受攻击任务效用。

攻击侧也一起进化,生成的压力样本只保留那些既攻破目标又不破坏原任务的注入。 固定攻击集会让防御过拟合到特定攻击族,静态评测在攻击适配目标防御时会高估防御效果。 在相同搜索预算和起点下,带压力样本反馈的搜索找到4个攻击成功率不超过32/560的合格护栏,只有基准搜索的对照找到1个;在三项效用都不低于对照的候选中,最好攻击成功率为17/560,对照为146/560。

启示与展望

演示范围限于AgentDyn与Agent-SafetyBench两个基准,任务模型分别为GPT-4o-mini和Qwen2.5-7B-Instruct,评测环境、工具、评分器和基准数据在进化过程中保持固定;跨模型迁移只在AgentDyn上以Qwen3.5-35B-A3B验证,且护栏冻结、不再进化。

在Agent-SafetyBench上以Qwen2.5-7B-Instruct为任务模型,攻击成功率从82.6%降到62.0%,降幅明显小于AgentDyn,且该基准没有任务完成效用预言机,帮助度与运行时有效性是额外加入的评测扩展。压力样本的跨护栏迁移也不是全覆盖:82个保持效用的AgentDyn压力样本中,43个对四个代表性接收护栏都达成攻击目标,36个同时在每个接收方保持效用。