跳到主要内容
返回时间线
arXiv来源发表:

历史SQL不必每次重写:MEM-SQL在HARE上把执行准确率从37.1%提到50.0%,输入token少76.6%

核心概要

同一数据库上反复提问时,先前验证过的SQL往往已经包含新问题需要的连接或计算,但主流基准把每个问题独立评测,看不到这部分可复用的历史。MEM-SQL把历史查询拆成整查询模板、可复用SQL块和模式概念三层记忆,只有某一层承担的全部需求都越过阈值才采用该层,并在没有层合格或生成器判断证据不足时才去查数据库模式。在HARE的1,600条请求上,六个语言模型的平均执行准确率从无历史直接生成的37.1%升到50.0%,平均输入token减少76.6%、延迟降低68.8%。

Source-provided article image: MEM-SQL: Memory-Empowered Text-to-SQL
arXiv

深度剖析

文本到SQL系统现在可以把同一数据库上已验证的历史查询当作可检索的证据来源,而不必每次都从数据库模式重新构造连接和计算。 Spider、BIRD等常用基准把问题逐条独立评测,用户反复查询同一数据库时,早先验证过的查询可能已经回答新问题或提供其中一部分计算,这一情形此前没有被单独度量。 在HARE的1,600条请求、六个语言模型上,平均执行准确率从无历史直接生成的37.1%升到MEM-SQL的50.0%,同时平均输入token减少76.6%、延迟降低68.8%。

记忆按粒度分成三层,新问题先被拆成各层各自需要的检索单元,再逐层判断证据是否够用。 整查询模板保存把字面值、排序、聚合和分组键换成占位符后的完整骨架,可复用SQL块保存带FROM、JOIN和子句结构的SELECT块,模式概念把“圈速”这类领域词映射到列和连接关系。 每层只有在分配给它的每个需求都找到超过该层阈值的匹配时才贡献证据,因此一个强匹配无法掩盖另一个未被覆盖的需求;按需模式链接只在没有层合格或生成器判断证据不足时才查询模式,MEM-SQL平均有95.4%的请求完全由记忆完成。

启示与展望

评测限定在HARE的1,600条请求上,这些请求由Spider、BIRD、Spider 2.0和BEAVER四个基准的823条已验证查询派生,记忆只由该数据库的已验证问答历史构建并在评测中保持固定。

HARE没有建模企业数据库中常见的模式漂移,例如财年起始月份这类概念定义发生变化;MEM-SQL在静态记忆下评测,增删和退役记忆对动态场景的影响仍未确定;执行准确率会拒绝仅格式不同的答案,也无法识别返回正确行但理由错误的SQL。