命令行智能体的风险藏在中间层:Agent MechSuits 用10维子空间把攻击成功率从85.99%压到13.36%
核心概要
命令行智能体在多轮执行中会逐步累积风险,单步动作看似无害,后续却可能拼成有害执行链,而外部护栏只能按预设规则在模型之外检查。Agent MechSuits 改为读取每一步的隐藏表示,用一个线性探针判断当前状态是否有害,命中后在同一层的一个10维子空间里加一个转向向量,不改模型权重。在 LLaMA-3.1-8B、Qwen-2.5-7B 和 Gemma-2-9B 三个白盒智能体上,当前步风险检测平均准确率为97.32%,三模型平均攻击成功率从85.99%降到13.36%,代价是生成崩溃率上升。
深度剖析
安全判断从模型外部挪到了执行过程中的内部表示上,命令行智能体每一步的隐藏状态都能被一个轻量线性探针读出是否有害。 此前的智能体防护主要靠外部护栏,依赖预先定义或自动生成的安全规则来检测,难以对每一步执行做细粒度行为控制。 在按任务切分、测试任务不出现在探针训练数据中的 MAS 基准上,该探针在 LLaMA-3.1-8B 上取得99.15%准确率和99.17% F1,在 Qwen-2.5-7B 上为97.46%和96.25%,在 Gemma-2-9B 上为95.35%和86.67%。
检测到风险后,干预只发生在单个层的一个稀疏方向上,通过给隐藏表示加一个转向向量把智能体推离有害命令,而不修改模型权重。 转向方向由同一个探针的两类权重差挑出判别力最强的10个维度构成,再广播到该层所有 token 位置,强度系数由外部大模型裁判在安全与可用性之间搜索。 在风险缓解评测中,LLaMA-3.1-8B 的攻击成功率从73.80%降到16.70%,Qwen-2.5-7B 从91.30%降到4.35%,Gemma-2-9B 从92.86%降到14.29%,均低于 RepE 和 Self Reminder 两个基线。
安全提升伴随生成质量代价,强转向会让模型输出退化而不是干净地拒绝。 未加防护的原始智能体平均崩溃率为2.24%,RepE 为7.25%,Self Reminder 为3.69%。 启用转向后平均崩溃率升到18.54%,其中 LLaMA-3.1-8B 为28.30%,Qwen-2.5-7B 为13.04%,Gemma-2-9B 为14.29%。
启示与展望
评测限定在三个开源白盒模型、ReAct 式命令行智能体和 Docker 容器内执行的194个任务上,检测与转向都依赖对隐藏状态的访问。作者明确表示该方法不应被视为独立的生产级安全系统,实际部署需要与沙箱、权限控制、命令级策略检查以及高风险情形的人工或模型复核配合。
前瞻风险检测的样本在现有开源命令行智能体下天然稀疏,Gemma-2-9B 没有前瞻子集,作者把前瞻结果定位为表示层预警的可行性证据而非稳健性保证。在基于 Safe-OS 的提示注入压力测试中,当前探针不能可靠地把注入状态判为有害,转向是在注入步骤被外部触发后施加的,攻击成功率从86.7%降到6.7%,这被描述为检测与控制的落差,而不是端到端防御。
