Soteria 让智能体先验证计划再动手:四个模型零违规,任务成功率平均是最佳基线的 1.7 倍
核心概要
执行多步工具调用的 AI 智能体既要完成任务,又要遵守领域策略,而现有护栏往往在两者之间取舍。Soteria 在调用任何工具之前,先把智能体生成的层次化计划对照工具契约与策略规范做形式化验证,执行时再由运行时监控器拦截违规调用,并用已验证计划给出替代路径。在三个基准共 207 个任务、四个骨干模型上,Soteria 的规范符合率达到 100%、零违规,任务成功率比各模型的最佳基线高 4.7 至 43.9 个百分点,平均为 1.7 倍。
深度剖析
Soteria 把安全与效用放在同一条执行路径上:智能体在动手之前先交出一份经过形式化验证的计划,被拦截的动作可以从这份计划里找到替代走法。 此前的两类护栏各缺一半,基于大模型的护栏逐动作判断但只是概率性的,没有形式化保证;基于规范的监控器能在运行时检查前置条件、后置条件或轨迹不变量,却在调用被拦下时拿不出经过验证的恢复方案。 在三个工具调用基准共 207 个任务、四个骨干模型上,Soteria 的规范符合率为 100%、违规数为零,而基线符合率最高只到 93%;每个模型与基准的组合上,任务成功率比最佳基线高 4.7 至 43.9 个百分点,平均为 1.7 倍。
计划被写成带守卫的迁移系统,即节点表示步骤、边表示工具调用、每条边附带一个布尔条件的图,因此分支和数据依赖都能被机器检查。 计划由可复用的子计划拼装而成,每个子计划带一份契约,说明它需要什么输入、保证什么结果,父计划只按接口推理,不必重新编码子计划的内部逻辑。 验证条件交给 Dafny 自动验证器求解,检查三类性质:每次工具调用满足其前置条件、计划不会卡在中间状态、每条执行轨迹满足全部策略规范;验证不通过时给出针对性诊断,规划器在 8 次重试预算内修复并重新验证。
运行时监控器在每次工具执行前检查前置条件与全部规范,违规调用被拦下,执行器再按计划中的剩余步骤寻找替代动作。 即使验证没有完全通过,或者执行器因随机性偏离计划,拦截仍然生效;被拦下时,计划以逐步简化的流程图形式呈现剩余步骤和守卫条件,供执行器改道。 在 -Airline 上,GPT-5.4-mini 与 Gemini 3 Flash 的消融显示,加入监控器后两个模型都达到 100% 符合率、零违规,成功率等于原始效用(分别为 60% 和 62%),不再因违规损失效用。
启示与展望
演示范围是三个工具调用基准上的 207 个任务:-Airline 50 个、-Retail 114 个、Toolathlon 108 个中的 43 个,覆盖终端交互、文件系统管理与文档编辑,使用四个骨干模型、温度 0、每任务单次尝试。规范来自对策略文档的半自动形式化加人工校验,三个领域分别得到 24、33、41 条公式。
验证的可靠性建立在两个假设上:工具契约忠实刻画工具行为,且运行时后置条件确实成立;后置条件一旦不满足,执行会中止,因为此时计划验证的结论不再可信。计划必须无环,带环的计划会被拒绝。自动定理证明器只支持有限的一阶理论,实践中可能无法完成验证;规范目前仍需人工校验,子计划库也由大模型辅助生成并迭代验证。
