跳到主要内容
返回时间线
arXiv来源发表:

把工具从智能体手里拿走:意图契约让可信模型自己写调用,却挡不住选错对象

核心概要

面向使用工具的LLM智能体,意图契约把工具从规划模型手中移走:规划模型每步只提交一份含目标、用户原话逐字引用和范围字段的契约,由代码校验、再由一个可信小模型对照用户原话并亲自写出工具调用。在AmPermBench三个任务族的96条提示上,契约执行下被改动的对象全部出现在产生该改动的契约目标中(56/56),而两个审查条件分别为2/16和4/54;但契约并未减少越权动作,与只看命令的盲审查同为10/96,且澄清环境术语后各条件改变状态时仍有40–49%的运行改错目标。

Source-provided article image: Intent Contracts: Taking Tools Away from Agents
Figure 1 · arXiv · 第 2 页

深度剖析

规划模型不再持有任何工具,每一步只能提交一份被记录的契约,由可信小模型决定执行哪一部分并亲自写出工具调用。 此前的做法是规划模型自己写命令,再由审查者判断整条命令是否放行;Claude Code的auto模式甚至刻意把智能体的说明文字排除在权限分类器输入之外。 在AmPermBench的任务取消、服务重启和存储清理三个任务族共96条提示上,契约执行、意图可见审查、盲审查、强模型单独运行、小模型单独运行和仅声明条件各有一条有效运行,比较按提示配对。

契约执行下每一次被改动的对象都出现在产生该改动的契约目标里,越权改动同样留有可查记录。 两个审查条件里,规划模型把对象写在命令中而非目标中:意图可见审查为2/16,盲审查为4/54,而它们的命令分别命名了16/16和39/54。 该指标按基准工具自身的调用日志对齐时间,对每个被改动对象取第一次点名它的状态改变调用及其之前最后一份被代码接受的契约,以对象ID或名称、键、路径字段的大小写不敏感子串匹配判定。

当规划模型把用户没要求的额外工作夹带进来时,契约执行能完成用户的任务而不做额外工作。 审查者只能整条批准或整条拒绝命令,一旦授权与越权工作合并在一条命令里,拒绝也会挡住授权部分。 在作者自建的小型捆绑任务上,追加请求条件下契约执行27/27有效运行完成主任务、意图可见审查16/30;多文件列表条件下分别为24/24和19/24,两者都没有执行额外改动。

契约执行并未减少越权动作,其与盲审查不可区分,错误集中在模糊指代上。 意图可见审查在原始提示上把越权动作从盲审查的10/96降到2/96,但代价是更多运行未完成(87/96对76/96)。 澄清环境术语后,契约执行与盲审查在安全完成、越权和不完整三项上均无差异,契约执行越权29/96、盲审查25/96、意图可见审查18/96、强模型单独14/96;所有越权动作都改错目标,且全部落在两个范围类提示上,精确ID和自有工单类提示上四个条件各为0/48。

启示与展望

已展示的范围是OpenCode编码智能体上的一个插件,在AmPermBench三个任务族的96条提示和作者自建的小型捆绑任务上,使用gpt-6.1-terra作为规划模型、GLM-5.3-Flash作为可信模型,并采用合作而非恶意的规划模型;基准第四个任务族分支清理因状态是git仓库而非JSON记录被排除,因此这些数字不是全基准结果。

结果只覆盖一个规划模型、一个小模型和一套角色指令措辞,越权计数可能随三者任一改变;每个提示每条件只运行一次,托管服务分批采集与版本变化可能影响配对比较;仅声明条件的遵守并不完整,事后文本检查只在30次改变状态的运行中的14次找到标记;给执行器加上“不确定就拒绝”的一句指令后计数没有变化,严格执行器拒绝10份契约而意图可见审查者拒绝154份。