跳到主要内容
检索

# Evolution Under Fire框架

1 篇关联报道

订阅更新
  1. arXiv

    安全护栏不再靠手工重写:Evolution Under Fire让攻击与防御同步进化,注入成功率降到3.0%

    工具型语言模型智能体要读邮件、网页和文档,恶意指令与正常任务指令走同一条通道,而现有防御多为手工设计、固定不变。Evolution Under Fire把完整可执行安全护栏的进化与自适应压力测试的进化串成三阶段:先在效用约束下用帕累托树搜索改护栏,再生成不破坏原任务的注入攻击,最后用这些攻击反馈继续搜索。在AgentDyn上以GPT-4o-mini为任务模型,进化后的护栏把攻击成功率从50.4%降到3.0%,同时提高干净任务与受攻击任务的效用。

已读完全部报道