智能体读到的API可能悄悄答错:SilentGuard把判定权交给执行框架,错误答案从74.0%降到1.7%
核心概要
SilentGuard把“这条工具结果能不能用”的判断从模型移到运行工具调用的执行框架:框架用任何正确API都必须满足的不变量检验结果,对违反精确不变量的返回值直接扣留。在7个开源模型上,目标故障下的错误答案从74.0%降到1.7%,无故障任务准确率保持84.9%;3个前沿模型上从70.2%降到0.5%。它靠弃答而非修复来避免错误,对检查看不见的故障类型,错误率只从61.1%降到24.5%。
深度剖析
智能体调用API时,一种没有报错的失败会让它拿到看似正常、实则答非所问的结果:API忽略请求中的一部分,例如把过滤器名字写错,却仍返回HTTP 200和一个看似合理的数字。SilentGuard把是否采信这条结果的最终决定权从模型手里移到执行框架,由框架扣留未通过检验的数值。 此前的做法把判断留给模型:清单提示、审查模型、结果监视器和LLM裁判都要求模型自己发现异常。在同样的故障下,这些方法留下的错误答案仍接近无防护时的74.0%,清单为72.3%、审查模型为73.8%、结果监视器为72.2%。 在AgentOrchBench上,7个开源模型、每种故障类型2个随机种子,SilentGuard把错误答案从74.0%降到1.7%,任一模型不超过4%,无故障任务准确率84.9%与无防护时相同;3个前沿模型的错误答案从70.2%降到0.5%。
框架对每个工具结果做两类检验:精确检验在任何正确实现过滤的API上都成立,学习型检验则从干净响应中挖掘字段类型、回显参数、取值范围等契约。结果失败后框架重发同一请求一次,仍失败时按检验的可信度决定扣留还是仅警告。 计数查询的精确检验是计数恒等式:带某条件的计数加上带其否定的计数,应等于去掉该条件的计数;框架自己发出这些额外查询,因此不需要额外的模型调用。列表查询则要求每条返回记录都满足过滤条件、没有重复、条数与报告总数一致。 在15个公开研究API中,11个至少出现一种静默故障,其中10个对拼错的过滤器名返回HTTP 200和未过滤的计数,最多放大691倍;在9个真实API上给出略微错误的文档时,错误答案从89.8%降到21.3%,而单独使用参数规范检查即可达到21.0%。
SilentGuard避免错误的方式是弃答而不是修复:在故障下它多数回答“计数无法确定”,因此正确答案也随之减少。 在方法冻结后新写的6种故障类型上,仅运行框架时错误答案从61.1%降到24.5%,正确答案从38.9%降到19.0%;自动修复在它针对的故障上恢复更多正确计数,但在新故障上把49个错误答案标记为已验证后放出。 在25%故障率下,SilentGuard回答了67%的任务,其中3.3%错误;无防护为90%覆盖、24.6%风险,带证据的LLM裁判加阻断为66%覆盖、6.1%错误。
启示与展望
结论建立在计数与列表两类答案、自建AgentOrchBench与零售模式、9个真实公开API以及他人构建的ToolMaze之上,模型为7个开源权重模型和3个同一厂商的前沿模型;真实API研究只发送只读GET请求,故障注入只在本机测试服务上运行。
与自身保持一致的故障(前缀匹配、处处一致的谎言)能通过计数检验,智能体从未发出的过滤器无法被检查;计数恒等式假设二值过滤器,估计值或查询间变化的总数会破坏它,且该恒等式只在25次实时查询上验证过。在故障下SilentGuard多数回答无法确定,不给用户数字;盲重试在1到2次调用内自行消失的故障上更好;前沿模型运行在内部平台上,无法公开或复算日志。
