跳到主要内容
检索

# Agent-SafetyBench 基准

1 篇关联报道

订阅更新
  1. arXiv

    智能体安全护栏不再部署即冻结:SHE从执行轨迹里学边界,攻击成功率降到5.5%

    上海人工智能实验室等团队把大语言模型智能体的安全护栏从固定部署件改成可演化的对象:护栏被拆成系统提示、规则库、安全记忆和工具策略四件可编辑产物,执行轨迹中的失败被诊断后路由到对应产物做局部修改。在Agent-SafetyBench上,演化后的护栏把平均攻击成功率从静态SafeHarness的17.1%降到5.5%,同时把受攻击下的任务效用从31.6%提到47.6%。演化出的护栏还在未参与演化的AgentHarm上把危害分数从19.8%降到9.8%。

已读完全部报道