测试只对一份参考解通过还不够:TestPrism给每个任务配10个实现,最强编码智能体联合成功率仅28.00%
核心概要
南京大学团队构建了TestPrism评测集,用300个测试任务和3000个带标签的候选实现检验生成的测试能否真正区分对错。其主指标“联合成功函数”要求测试在初始程序上失败、接受全部有效实现并拒绝全部无效实现;十四个基线编码智能体配置中最高只有28.00%,而只对单一参考解的成功率为59.67%。团队同时给出TestHelix,用异构测试与修复对、同伴交叉验证和递归自我改进提升该指标。
深度剖析
测试质量的评判标准从“能否在一份参考解上通过”扩展为“能否同时接受多个有效实现、拒绝多个无效实现”。 此前的常见做法是单一参考评估:测试只需在初始程序上失败、在一份标准解上通过即算成功,而同一需求往往允许多种有效实现,也存在看似合理却错误的实现。 在TestPrism的300个任务上,十四个基线编码智能体配置中联合成功函数最高为28.00%,同一批配置的单一参考成功率为59.67%。
TestHelix把测试生成改成先生成多组“测试加修复”配对,再用同伴的修复去交叉检验这些测试。 异构合成让不同智能体各自独立地写出测试补丁和修复补丁,并要求测试在初始程序上可复现地失败、在自己的修复上通过,从而保证每组配对内部自洽。 同伴交叉验证把测试放到同伴的修复上执行,再由独立评审对照公开需求检查断言,并用反例修正;在GPT 5.6 sol与Kimi K3两个模型上,该流程相对单配对生成把联合成功函数提升11.67至12.00个百分点,且推理预算上限相同。
启示与展望
评测范围是TestPrism的300个测试任务,来自17个来源、六种编程语言、67个仓库与项目,每个任务固定一份参考解、四个有效替代实现和五个无效实现;TestHelix的对比在GPT 5.6 sol与Kimi K3两个模型、相同推理预算上限下进行。
联合成功函数不可能超过单一参考成功率,两者差距包含缺失或错误执行结果造成的失败;候选面板扩大时联合成功函数随之下降,说明结果依赖面板包含哪些实现。失败机制分析基于从六类模型家族各取最高联合成功函数配置的300条失败轨迹,排除14条超时后分析286条。
