自然语言技能也能像程序一样修:Synapse 在六个设定中成功率最高,最多领先最强基线 4.54 个百分点
核心概要
面向大语言模型智能体的自然语言技能文档,Synapse 把技能编译成带源码映射的部分程序视图,再用故障定位、依赖分析和回归测试选择来生成并验证补丁。在 DocVQA 与 LiveMath 两个单轮问答基准、三个执行模型共六个设定中,其留出测试成功率均高于 SkillOpt、Trace2Skill 和 SkillBoost,比各设定最强基线高 1.60 至 4.54 个百分点。消融显示,去掉基于该中间表示的修复与测试筛选、退回受限文本编辑后,四个评测设定的成功率全部下降。
深度剖析
技能优化不再只靠重写整段自然语言,而是把技能文档中可识别的操作、条件和数据引用编译成带源码位置的中间表示 SkIR,让每次修改都落在一条已有指令的映射区间上。 此前的轨迹驱动、归因引导和结构感知方法把编辑表达为重写文本,或作用于与原文不对应的结构化表示,因而无法指明一次编辑替换的是现有技能的哪一段。 在两次记录的 DocVQA 修复运行中,315 个修复目标里有 292 个(92.70%)是带有效源码映射的现有指令;修复模型给出的 38 个提案中 37 个通过类型检查,且全部 37 个写回后通过往返检查。
补丁的筛选不只重跑触发失败的那几个测试,还会通过控制流与依赖关系把相关指令上的测试拉进来,包括那些从未覆盖被编辑指令的测试。 已有方法只对照触发失败的用例、源任务、固定任务集或技能图中受影响的示例来检查编辑,因此经由相邻指令传递的回归可能漏检。 在两次 DocVQA 运行中,37 个补丁里有 23 个(62.16%)因相关指令而新增了筛选测试;案例中一个收据测试仅通过控制流关系进入筛选,并暴露出覆盖率检查漏掉的回归。
在 DocVQA 与 LiveMath 上,Synapse 修复后的技能在三个执行模型下都取得最高留出测试成功率,且每个最终技能最多只经过三次被接受的局部补丁。 在 LiveMath 上,Trace2Skill 与 SkillBoost 在 GPT-5.6 Luna 下低于初始技能(36.00 和 32.80 对 36.80),Trace2Skill 在 Gemini 3.6 Flash 下也低于初始技能(32.00 对 32.80)。 Synapse 比 SkillOpt 在 DocVQA 上高 3.74 至 4.54 个百分点、在 LiveMath 上高 2.40 至 4.00 个百分点,并在全部六个设定中超过三个基线;在 DocVQA 上它消除了初始技能约一半的留出错误(48% 至 58%)。
启示与展望
评测限定在 DocVQA 与 LiveMath 两个单轮问答基准上,使用与 SkillOpt 相同的初始技能、固定的修复/验证/留出划分,以及 GPT-6.1 Sol 作为修复模型、GPT-5.6 Luna、GPT-6 Sol 和 Gemini 3.6 Flash 作为执行模型。机制分析来自两次记录的 DocVQA 修复运行,案例研究来自另一次历史 DocVQA 运行。
测试选择的安全性只在执行智能体满足一跳局部性假设时成立,而这一假设本身没有被测量;定位与测试选择依赖执行智能体自报的指令使用情况,报告准确性同样未被评估。识别器只接受固定词表和固定句式,写法不同的技能会得到更稀疏的依赖图。验证集只有 53 和 17 个测试,答案又随请求变化,补丁可能凭偶然通过验收。一跳邻域之外的效应只有在报告或指定测试触及时才会被覆盖。
