检索智能体把八条转述当成八份证据:EchoSpec用两阶段训练把八回声顺从压到29–31%
核心概要
强化学习训练出的检索智能体在真实语料里会把同一说法的多次转述当作独立佐证,八条转述的假说法能推翻58–73%原本正确的多跳问答答案,并让删除证据时的弃答率跌到15%以下。EchoSpec把可靠性写成五种语料变换下的目标行为,先用桥接实体验证轨迹做热启动,再用带证据门控奖励的分组强化学习训练,在Qwen2.5-7B上把八回声顺从降到29–31%,同时把八回声下触及原始证据的比例提高到26–27%。这一结果在Qwen2.5-3B、Qwen2.5-7B与Llama-3.1-8B三个骨干上成立,并可零样本迁移到未见过的BGE与BM25检索器。
深度剖析
检索智能体面对同一说法的多条转述时,会把它们当成彼此独立的来源,从而放弃原本正确的答案。 在原始证据仍保留在语料中的多跳维基百科问题上,八条转述的假说法能推翻58–73%在干净语料上答对的答案;按精确匹配训练的强化学习还把删除证据问题上的弃答率从47%压到15%以下。 这一对照覆盖3B到32B的五个基础模型和七个已发布的强化学习检索智能体,其中Search-R1在每一个回声数量上都比它起步的7B基础模型更顺从回声。
失败发生在取回证据这一步,而不是在拿到证据之后的判断上。 一旦原始段落进入上下文,智能体在八条回声下的顺从率为25–34%,与只有一条回声时的27–39%相当;而原始证据被挤出视野时,八回声顺从率升到70–85%。 回声占据检索排名前列并让搜索在一两次查询后提前结束,使轨迹触及原始证据的比例从一条回声时的53–72%降到八条回声时的20–31%,三个被测智能体都呈现这一模式。
EchoSpec把“该信什么、该不该答”写进检索策略本身,而不是只在已取回的段落上做过滤。 在Qwen2.5-7B上,八回声顺从率降到29–31%,比七个已发布强化学习智能体的58.6–72.9%低30–44个百分点;八回声下触及原始证据的比例从7.1%升到26–27%,标准问答精确率升到47–55%。 三个骨干上八回声顺从率收敛到28.9–30.6%,冻结的检查点零样本迁移到BGE检索器为29.4%、到BM25为25.1%,而加大搜索预算或强制多轮搜索的对照仍停留在55.5–61.8%。
训练分两步:先学会绕过回声去查桥接实体,再在带证据门控的奖励下学习何时作答、何时弃答。 去掉第一阶段热启动后,八回声下触及原始证据的比例只剩9.4%、顺从率回到69.4%;去掉第二阶段强化学习后,顺从率为47.2%。 第一阶段用带文章链提示合成的多跳轨迹做LoRA微调,第二阶段用分组强化学习优化一个对未核实回声打折、并对答错计价的奖励,同时用不随结果变化的取回奖励和保尺度的优势估计维持弃答阈值。
启示与展望
演示范围是21M段落的wiki-18维基百科索引、e5-base-v2稠密检索与BM25词法检索、每题最多四次搜索,以及由Qwen3-32B和Phi-4两个生成模型家族构造的多跳问答测试集;作者指出真实网页搜索还会带来动态排名、搜索引擎优化操纵和被污染的来源,而语料变换的构造需要带已知证据的多跳问题。
作者把标准分组强化学习中的优势归一化视为抹掉弃答阈值的步骤,但该命题刻画的是固定风险惩罚下的贝叶斯最优停止收益,并不保证有限样本训练后得到校准的后验。跨生成器比较显示,独立运行时Test Set B上的八回声顺从率(37.7–38.8%)高于Test Set A(19.0–23.6%),而触及原始证据的比例迁移得较接近;差异几乎全部出现在原始证据未被取回时,作者据此认为未取回条目上的兜底弃答仍受益于对训练生成器措辞的熟悉。
