跳到主要内容
返回时间线
arXiv来源发表:

多查询检索不再各自为战:CACO 让采样查询互补覆盖,Recall@100 最高提升 23.7%

核心概要

连续生成式检索器会为同一用户采样多条查询向量,再并行做近似最近邻搜索,但各查询常落进重叠的邻域,浪费固定检索预算。CACO 是一个轻量自监督后训练框架,它冻结原有流匹配或扩散生成器,用参考查询的检索频次作为相关性代理,构造无标签的集合覆盖目标,并训练一个协调网络联合调整查询。在八个公开基准与一个 24 分区的内部流式工业数据集上,CACO 相对最强基线把 Recall@100 最高提升 23.7%、Recall@400 最高提升 23.9%,查询间重叠下降 53.3%–64.9%,推理延迟只增加 0.5%–3.0%。

Source-provided article image: CACO: Coverage-Aware Coordinated Optimization for Continuous Generative Retrieval
arXiv

深度剖析

多查询连续生成式检索的收益取决于查询集合的互补性,而不只是单条查询与目标的匹配程度;CACO 把优化对象从单条查询的相关性改为整组查询合并后的覆盖。 此前的连续生成式检索器要么独立采样查询,要么按观测到的正反馈学习分离的兴趣表示,都没有显式考虑集合级的检索几何,因此即使查询分布多样,其最近邻结果仍可能高度重叠。 在八个公开基准和一个 24 分区内部流式工业数据集上,CACO 相对最强基线把 Recall@100 最高提升 23.7%、Recall@400 最高提升 23.9%,并把查询间平均成对 Jaccard 重叠降低 53.3%–64.9%。

CACO 不重新训练生成器,而是在冻结的流匹配或扩散骨干之上加一个协调网络,让每条查询在生成时就参考其他查询可能检索到的条目。 协调网络以用户历史做交叉注意力、以查询之间做双向自注意力,并用带符号的相对方向门决定每条查询靠近还是远离其他查询,最后通过有界切空间投影与球面回缩保持单位范数。 训练信号来自切向对偶扰动与反事实单查询替换:固定其余查询,只替换一条查询的正负扰动版本,用两者覆盖增益之差作为梯度估计,从而绕开近似最近邻搜索不可微的问题;在 Beauty、Sports、Toys 与工业数据上,端到端推理时间只增加 0.51%–2.97%。

覆盖目标本身不需要真实目标标签,它用冻结生成器采样出的参考查询在语料上的检索频次给条目加权,一个条目被覆盖一次后再次检索不再带来增益。 离线贪心选择实验用来先验证这个目标能否在训练新模型之前就挑出更高召回率的查询子集。 在 5 个检索骨干与 6 个数据集组成的全部 30 个骨干–数据集设置上,贪心优化该频次加权覆盖目标都优于随机选择,同时降低查询间重叠。

启示与展望

演示范围是八个公开基准、一个 24 分区内部流式工业数据集和六个冻结的流匹配与扩散骨干,检索预算固定为 20 条查询、每条 20 或 400 个近邻;工业数据集因数据安全与商业保密要求未公开平台细节。

在 ML-25M 的 Recall@100 上,LLaDARec 以 0.327 高于 CACO 的 0.305,CACO 只在 Recall@400 上以 0.518 略高于 0.517;参考池刷新在训练所用检索设置下稳定提升,但迁移到不同查询数与检索深度时,Beauty、Toys、KuaiRec 的平均 Recall@100 提升,Sports 与 ML-25M 则下降;更多刷新轮次收益递减并趋于平台。