生成式推荐经强化学习后训练后排名更准、召回更差:Office 上 hit@500 从 52.84% 降到 47.69%
核心概要
生成式推荐先用监督微调、再用强化学习(GRPO)后训练已成常见做法,但增益通常只在前十条结果上报告。对五个数据集做全目录精确排序后发现,RL 后训练在提升前几位命中率的同时,降低了候选列表深处的召回:Office 上 NDCG@10 从 11.59% 升到 12.55%,hit@500 却从 52.84% 降到 47.69%。原因在于 RL 把 rollout 中除记录目标外的候选都当作负例压低,而这些候选常是相似用户的下一个选择;在 rollout 之外加一项锚定损失,可在保住顶部增益的同时把召回恢复到监督微调水平。
深度剖析
强化学习后训练让生成式推荐模型在列表顶部更准,却在部署真正使用的候选列表深处丢掉召回,同一模型既是更好的排序器也是更差的检索器。 此前这类模型的 RL 增益主要按前十条结果报告,基准研究多在 10 或 32 以内评估,很少测量更深位置的命中率。 在五个数据集上对每个测试用户做全目录精确排序、三次 RL 随机种子取均值:Office 上 NDCG@10 由 11.59% 升至 12.55%,hit@50 由 25.73% 降至 24.22%,hit@500 由 52.84% 降至 47.69%,监督微调模型前 500 名中的测试目标有 22% 不再出现。
召回损失来自 RL 对 rollout 内非目标候选施加的负优势,而不是 KL 正则化目标本身。 KL 正则化 RL 问题的精确解在任何截断处都不会降低期望命中率,损失来自更新估计方式:监督微调只抬高记录项,GRPO 还压低每个被采样但非目标的候选。 只保留正优势时召回损失消失、顶部增益也消失;只保留负优势时 hit@500 下降 19 到 21 个百分点,在 Office 上是未修改运行的三倍、在 Industrial 上超过十倍;用监督微调模型在 RL 前算出的逐项 rollout 记录,可提前识别出召回损失最大的测试用户。
在 rollout 之外加一项锚定损失,可以保住顶部增益并把召回恢复到监督微调水平。 GRPO 的 KL 项同样只在 rollout 上估计,约束不到 rollout 之外的条目,而召回损失正发生在这些条目上。 Office 上锚定项找回 5.1 个 hit@500 百分点中的 4.4 个,达到 52.14%,GRPO 为 47.69%、监督微调为 52.84%;其余四个数据集 hit@500 回到监督微调水平或略高,五个数据集上 NDCG@10 与 GRPO 无显著差异。
启示与展望
结论建立在五个公开数据集上,主干为 Qwen2.5-1.5B-Instruct,RL 采用 MiniOneRec 的 GRPO 设置,每个模型训练一个 epoch 后评估;Office 与 Industrial 沿用 MiniOneRec 的文件和语义 ID,Beauty、Toys、Sports 用同一流程构建语义 ID 并各取 5000 名用户评估。作者提出下一步应在更大目录、更大模型并把下游排序器纳入回路时测量这一权衡。
作者指出,Beauty、Toys、Sports 上的 RL 超参数未针对这些数据集调优,RL 在那里可能未达最佳,但五个数据集趋势一致;锚定项只约束 rollout 之外条目的相对顺序,不约束 rollout 内候选之间的顺序或绝对排名;RL 本身对 rollout 之外的目标仍没有学习信号。
