智能体不再等外部评分:Verify by Doing 让执行与验证在同一任务内共同进化
核心概要
智能体在测试时自我改进通常依赖基准分数或参考答案来判断任务是否完成,而在真实任务中这类外部反馈往往缺失。Verify by Doing 让执行智能体与验证智能体各自维护可编辑的指令、技能和检查清单,通过主动检查工件与环境状态收集完成证据,并用这些证据同时指导执行与验证程序的更新。在 AutomationBench、Banking 和 133 个 GDPval 任务上,该方法在无外部反馈的比较方法中总体得分最高;固定候选池时,进化后的验证器把通过率从 31.2% 提高到 35.8%。
深度剖析
智能体在单个任务内部就能改进自己怎么做事、怎么判断做没做完,而不需要基准分数或参考答案告诉它哪次尝试成功。 此前的测试时自我改进要么更新执行流程但验证程序固定,要么靠额外采样多生成候选,两者都依赖可靠的任务完成反馈;工具式批评能补充观察,回顾式诊断能更新执行程序,但都不改动验证程序本身。 在 AutomationBench、Banking 和 133 个 GDPval 任务上,该方法在无外部反馈的比较方法中总体得分最高,GDPval 总体评分 82.4%,高于 RQGM 的 80.1%。
执行与验证的耦合靠两套可编辑的 harness 实现,即由指令、工作评分规则和技能组成的执行与检查配置,模型权重始终冻结。 验证器不再只给一个判定,而是独立检查工件和环境状态,记录已满足、被违反和未解决的要求,这些发现既用于在候选之间形成偏好,也用于提出对两套 harness 的修改。 AutomationBench 上通过率随三轮从 30.0% 升到 34.3% 再到 37.0%,第二轮均值已超过 RQGM 最终的 33.7%,且累计 token 成本更低。
验证程序的改动要先经过比较审查才会被采纳,输出选择和执行程序的采纳是分开决定的。 验证不完整时,检查可能偏向漏掉要求的输出,因此直接让验证器自我修改会同时改变判断执行是否进步的依据。 在每任务固定的六个候选上,进化后的验证器通过率 35.8%、部分得分 69.8%,高于初始验证器的 31.2% 和 67.4%;执行程序更新被接受时,对已观察到的退步的拒绝率为 89.3%,RQGM 为 71.2%,两者精确率接近(77.6% 对 77.0%)。
启示与展望
演示范围是单个任务内的三轮适应:AutomationBench 600 个任务、Banking 97 个任务和 133 个 GDPval 任务,使用 DeepSeek-V4-Flash-0731 与 Qwen3.8-Flash-Next 两个冻结权重的骨干模型,任务要求、工具权限和采纳规则保持不变,harness 与历史在任务之间重置。
执行、验证和审查角色可能共享对证据的误读,因此主动验证和比较审查无法消除错误的选择或更新;案例中把文件时间戳当作业务日期就导致选中了失败输出。方法还依赖可隔离、可检查的状态或工件,不可逆动作、无法重置的环境以及延迟生效或不可访问的状态可能逃过验证。跨任务迁移和更长进化下的持续改进尚未测试,额外的执行、验证和 harness 修订也会带来推理与工具调用成本。
