SQL 校验不再整条硬看:拆成小块后,人工校验者抓错率从 36% 升到 91%
核心概要
大语言模型生成的 SQL 即使能跑通、返回看似合理的结果,也可能没有回答用户真正的问题,而缺少可信参考查询时,只能由人或模型通读整条查询来判断。DecoVal 把候选查询拆成若干可重新拼回原查询的小块,每块配一个子问题和输入说明,再按给定校验者的能力挑选拆分方式。20 名熟悉 SQL 的学生参与的用户研究中,拆块后抓到的错误比例从 36% 升到 91%,且没有误拒正确查询。
深度剖析
校验一条大语言模型生成的 SQL 时,不再要求校验者一次读懂全部连接、嵌套子查询和聚合,而是把候选查询切成若干小块,每块只对应一个局部判断。 此前的做法是把整条查询作为一个整体交给校验者判断,而企业问题常涉及多表连接、嵌套子查询和多层聚合,一次性判断容易出错。 在 20 名 SQL 熟练学生参与的用户研究中,整条查询校验只抓到 36% 的错误(11 次中的 4 次),拆块后抓到 91%(11 次中的 10 次),正确查询在两种方式下都是 6 次全部接受。
拆分方式不是随手切的,而是按“这个校验者能多可靠地判断每一块”来选,块越小越好判但判断次数越多,两者要一起权衡。 拆分本身有代价:块越小,每次判断越轻,但边界越多、要读的接口说明越多,还可能把一次判断需要的信息拆散,最优粒度因人而异。 在 BEAVER 与 Spider 2.0 的 305 个问题上,以三个大语言模型作校验者,DecoVal 相比整条查询校验把错误检出召回率提高 7.0 到 16.9 个百分点,同时精确率保持在 90% 以上。
启示与展望
演示范围是 BEAVER 的 dw 划分中两个问题上的 20 人用户研究,以及 BEAVER 与 Spider 2.0 共 305 个问题上以三个大语言模型为校验者的实验;DecoVal 只支持它能导入、能给出拆分且打印出的 SQL 通过三项检查的查询,五个候选因使用 LATERAL 或表函数而未被任何方法判定。
可靠性模型使用预先设定的默认阈值,作者指出可改为用校验者过去的判定来拟合;改写目前只重排连接和移动过滤条件,去相关等其他改写是否有帮助仍是开放问题;块的需求描述与输入说明由大语言模型生成,更可靠的分配方式同样待解。
