跳到主要内容
检索

Han Li

1 篇关联报道

订阅更新
  1. arXiv

    测试只对一份参考解通过还不够:TestPrism给每个任务配10个实现,最强编码智能体联合成功率仅28.00%

    南京大学团队构建了TestPrism评测集,用300个测试任务和3000个带标签的候选实现检验生成的测试能否真正区分对错。其主指标“联合成功函数”要求测试在初始程序上失败、接受全部有效实现并拒绝全部无效实现;十四个基线编码智能体配置中最高只有28.00%,而只对单一参考解的成功率为59.67%。团队同时给出TestHelix,用异构测试与修复对、同伴交叉验证和递归自我改进提升该指标。

已读完全部报道