跳到主要内容
返回时间线
arXiv来源发表:

Turing Agent把形式化验证拆成两级智能体:TCS基准语义忠实率57–62%,还补完三道未解难题

核心概要

AI 生成的数学证明越来越多,但把研究级论证翻译成 Lean 可检验对象时,语句能编译不等于意思没变。Turing Agent 把定理形式化与证明形式化拆成两级智能体,用结构化分解、并行验证、经验池和选择性语义审查串起整条流程。在 143 道 Formal TCS Bench 题上,它用 GLM-5.3 与 DeepSeek-V4-Pro 分别取得 57.34% 和 61.54% 的语义忠实成功率,编译率分别为 97.20% 和 99.30%;在 248 条定理的 RLMEval 子集上整体 pass@1 超过 82%。

Source-provided article image: Turing Agent: Agentic Formal Verification for Mathematical Research
arXiv

深度剖析

研究级数学的形式化验证被拆成两级智能体协作:定理形式化智能体先把非形式命题连同所需定义翻成 Lean 语句,证明形式化智能体再据此构造完整证明。 此前的自动定理证明系统主要从已经形式化好的命题出发做证明搜索,而研究论文自带定义、约定、假设和依赖,必须先被忠实翻译,证明搜索才能开始。 在 143 道 Formal TCS Bench 题上,Turing Agent 用 GLM-5.3 和 DeepSeek-V4-Pro 的语义忠实成功率分别为 57.34% 和 61.54%,比最强基线 Claude Code 分别高 16.78 和 32.17 个百分点,编译率分别为 97.20% 和 99.30%。

证明构造被组织成一张有向无环图:父目标拆成子命题,只有 Lean 确认子命题能推出父命题后分解才被接受,互不依赖的子目标可以并行交给多个证明智能体。 分解检查只保证子命题蕴含父命题,并不检查子命题是否忠实于原始论证,因此被误读的定义或假设会把后续证明带偏。 在取自 PFR 与 TestingLowerBounds 项目的 248 条定理上,Turing Agent 用 GLM-5.3 取得所评估方法中的最高分,比 Claude Code 高 2.42 个百分点;用 DeepSeek-V4-Pro 达到 82.66%,比 Codex CLI 高 8.06 个百分点,比 Claude Code 的 86.69% 低 4.03 个百分点。

智能体在验证过程中会主动改写论证:它可能选择与原始证明不同的数学构造,让剩余证明义务更容易完成。 按原始证明逐步复现会把原作者的构造选择一并继承下来,即使另一种构造同样满足存在性条件。 在 OpenAI 2026 年 10 月发布的 722 份 AI 生成数学研究手稿中,Turing Agent 基于 DeepSeek 完成了三道此前未获完整形式化验证的 TCS 问题,其中一道需要约一百条经形式化验证的辅助命题。

启示与展望

评测集中在理论计算机科学,使用 Formal TCS Bench 的 143 道题与 RLMEval 中 PFR 和 TestingLowerBounds 项目的 248 条定理,并采用该基准的 easy 模式,使项目专用辅助引理在证明构造中可用;语义忠实性由独立语义审查判定,Formal TCS Bench 上的审查由 GPT-6.1 Sol 执行。

编译率与语义成功率之间存在明显差距,说明 Lean 接受语句并不保证原命题含义被保留;在 RLMEval 上,基于 DeepSeek-V4-Pro 的 Turing Agent 仍比 Claude Code 低 4.03 个百分点;智能体还会生成并验证最终证明用不到的辅助引理,如何规划并优先处理对主定理必要的依赖仍是待解问题。