跳到主要内容
返回时间线
arXiv来源发表:

智能体安全护栏不再部署即冻结:SHE从执行轨迹里学边界,攻击成功率降到5.5%

核心概要

上海人工智能实验室等团队把大语言模型智能体的安全护栏从固定部署件改成可演化的对象:护栏被拆成系统提示、规则库、安全记忆和工具策略四件可编辑产物,执行轨迹中的失败被诊断后路由到对应产物做局部修改。在Agent-SafetyBench上,演化后的护栏把平均攻击成功率从静态SafeHarness的17.1%降到5.5%,同时把受攻击下的任务效用从31.6%提到47.6%。演化出的护栏还在未参与演化的AgentHarm上把危害分数从19.8%降到9.8%。

深度剖析

大语言模型智能体的安全不再只由模型权重决定,管理上下文、记忆、工具和权限的护栏本身成为可演化的对象,失败轨迹可以直接改写护栏的安全边界。 此前的护栏类机制在部署后基本是静态的,安全边界依赖人工设计的规则和原则,不会从执行轨迹中自动学习。 在Agent-SafetyBench上,演化后的SHE把平均攻击成功率从静态SafeHarness的17.1%降到5.5%,同时把受攻击下的平均任务效用从31.6%提到47.6%。

护栏被拆成四件各自承担明确安全职责的可编辑产物,失败因此能被归因到具体一件产物上,只做局部修改而不牵动其他部件。 此前护栏各组件的功能相互耦合,一次失败可能牵涉上下文构造、记忆检索、工具权限或响应过滤,难以定位该改哪里。 演化循环先用结构化诊断把轨迹失败归入危害域、攻击面和失效模式三个维度,再路由到系统提示、规则库、安全记忆或工具策略,候选修改通过有效性检查后,只有同时提升安全且不降低任务效用才被保留。

演化出的护栏改动可以迁移到未参与演化的风险和未参与演化的智能体模型上。 此前的静态护栏不具备这种从轨迹积累并外推的能力。 在留出的AgentHarm上,演化后的护栏把危害分数从19.8%降到9.8%,危害拒答率从78.4%升到86.4%;在DeepSeek-V3.2上演化出的护栏直接用于Kimi K2.6、GLM-5.2和MiniMax M2.7,无需额外演化。

启示与展望

演示范围是Agent-SafetyBench上选出的前200个任务,其中15个任务、90个任务-条件实例用于演化,其余185个任务留作最终评测,AgentHarm整份数据只用于留出评测;基础智能体模型固定为DeepSeek-V3.2,演化模型与Agent-SafetyBench的全程裁判为GPT-5.5,AgentHarm的裁判为GPT-4o,演化共跑20轮。

演化模型不同会得到不同的安全与效用取舍:DeepSeek-V3.2在第3轮就收敛并偏向更强的安全提升,GPT-5.5的演化更渐进、效用保持最好,GLM-5.2居中;演化历史显示第5轮到第16轮之间最优护栏保持不变,后续候选虽能改善单项指标却未通过联合判据。