SQL 校验不再整条硬看:拆成小块后,人工校验者抓错率从 36% 升到 91%
大语言模型生成的 SQL 即使能跑通、返回看似合理的结果,也可能没有回答用户真正的问题,而缺少可信参考查询时,只能由人或模型通读整条查询来判断。DecoVal 把候选查询拆成若干可重新拼回原查询的小块,每块配一个子问题和输入说明,再按给定校验者的能力挑选拆分方式。20 名熟悉 SQL 的学生参与的用户研究中,拆块后抓到的错误比例从 36% 升到 91%,且没有误拒正确查询。
大语言模型生成的 SQL 即使能跑通、返回看似合理的结果,也可能没有回答用户真正的问题,而缺少可信参考查询时,只能由人或模型通读整条查询来判断。DecoVal 把候选查询拆成若干可重新拼回原查询的小块,每块配一个子问题和输入说明,再按给定校验者的能力挑选拆分方式。20 名熟悉 SQL 的学生参与的用户研究中,拆块后抓到的错误比例从 36% 升到 91%,且没有误拒正确查询。
已读完全部报道