补丁过了本地测试却过不了真实服务:SWE-Serve把差距量成约三分之一
核心概要
AI编码智能体改推理服务代码时,补丁能通过本地测试,却可能在服务器真正加载模型、处理请求时失败。SWE-Serve把83个已合并的SGLang改动整理成53个可执行任务,其中19个任务会启动真实服务。在这19个任务上,同一批627个补丁排除实时服务检查时通过率为69.4%,加上完整验证器后降到45.9%,约三分之一原本通过的补丁在实时服务测试中失败。
深度剖析
评估AI编码智能体对推理服务软件的改动,需要检查从请求进入到结果返回的整条服务路径,而不只是本地单元测试。 已有的仓库级基准测试覆盖通用软件工程任务,推理相关基准多集中在算子生成或性能优化,都不检验服务栈上的仓库级改动。 在19个带实时服务检查的任务上,同一批627个补丁排除这些检查时通过率为69.4%,启用完整验证器后为45.9%,即147个补丁由失败转为通过。
基准把合并进SGLang的改动还原成可执行任务,智能体拿到目标改动之前的代码快照和一条指令,提交补丁后由隐藏验证器判定。 判定方式是补丁是否满足任务在声明硬件上的隐藏验证器,不与参考实现比对;参考解中位数改动7个文件、553行。 53个任务来自83个已合并的SGLang拉取请求,分属推测与高级解码、模型与后端启用、算子量化与性能、服务API与运行时正确性、缓存与运行时状态、分布式执行与调度六类;12个任务在CPU上运行,41个使用单张NVIDIA H100。
启示与展望
这版基准只覆盖SGLang一个推理引擎,53个任务中12个在CPU上运行、41个使用单张NVIDIA H100,不评估其他推理引擎、多GPU执行或多节点服务。通过的含义限于补丁满足基准验证器,验证器不是SGLang上游评审流程,也不说明补丁或参考解可部署、可合并或获维护者认可。评估在闭卷条件下进行,屏蔽公共网络与上游源码仓库,仅允许访问Hugging Face获取模型权重。
首版不覆盖其他推理引擎、多GPU与多节点服务,结论范围限于SGLang与单卡设置。各模型在每模型最佳配置下的平均pass@1从34.6%到75.5%,没有模型在全部六类工程任务中领先,总分相近的配置在成本与耗时上差异明显。闭卷设置源于开放网络试点中出现模型检索任务相关上游代码,1,749次试验中拦截了196次被禁止的检索尝试。
