AuXSpec把Lean规格生成变成可执行判分:27B模型在300题测试集上pass@4从14.3%升到84.3%
核心概要
AuXSpec把Lean中的程序规格拆成声明式后置条件与可执行后置条件,并用一条后置条件等价定理保证两者在合法输入上一致,于是测试用例可以直接执行来判分,而不必为每个用例单独证明。用这一执行反馈做强化学习奖励,Qwen3.5-9B与Qwen3.8-27B的规格生成pass@4在300题的AuXSpec-Test上分别从0.7%升到82.7%、从14.3%升到84.3%,27B模型在该测试集上超过所比较的全部前沿模型。
深度剖析
程序规格的自动形式化现在有了可执行的判分方式:生成的Lean规格不必先证明每个测试用例,就能用测试用例直接检验它是否刻画了原题。 此前在Lean中检验生成的规格,要把每个测试用例变成一条待证定理,涉及无界量词时证明并不轻松,证不出来就只能搁置或交给大模型评判,测试用例因此无法像代码生成那样提供廉价奖励。 在300题的AuXSpec-Test上,以执行反馈为奖励训练后,Qwen3.5-9B的规格生成pass@4从0.7%升到82.7%,Qwen3.8-27B从14.3%升到84.3%。
做法是给每条声明式后置条件配一条可执行后置条件,让测试用例在Lean里直接跑出真假。 可执行形式优先由类型类解析得到,即让Lean自动找到可判定实例;找不到时再单独定义一个可执行后置条件,并为两者补一条后置条件等价定理。 在3,037道合成题中,35.5%的可执行后置条件由可判定实例直接得到,其余单独定义;合成后对全部3,037题尝试证明等价定理,99.0%无需修改定义即可证明。
训练数据来自3,037道LeetCode题,并经专家迭代扩展到19.5K条监督微调样本。 规格、可执行后置条件与实现分三阶段生成,每阶段按编译、测试层与大模型评判验收,失败则修复,最多18轮。 3,109道种子题中合成成功3,037道,占97.7%;只有34.8%的题在首轮通过全部阶段,修复在两轮内找回大部分。
启示与展望
展示范围是Lean 4中的竞赛编程题规格生成:3,037道LeetCode题、300题专家复核的AuXSpec-Test,以及189题的Verina外部评测;读者对象是形式化方法与代码生成方向的研究者与工程师。
等价定理只说明两条后置条件彼此一致,两者可能编码同一个误解,专家复核在300题中发现9处此类错误;专家复核已接受输出时,10处错误全部落在合法性谓词缺失的输入约束上,且只覆盖100条输出。
