生成式推荐经强化学习后训练后排名更准、召回更差:Office 上 hit@500 从 52.84% 降到 47.69%
生成式推荐先用监督微调、再用强化学习(GRPO)后训练已成常见做法,但增益通常只在前十条结果上报告。对五个数据集做全目录精确排序后发现,RL 后训练在提升前几位命中率的同时,降低了候选列表深处的召回:Office 上 NDCG@10 从 11.59% 升到 12.55%,hit@500 却从 52.84% 降到 47.69%。原因在于 RL 把 rollout 中除记录目标外的候选都当作负例压低,而这些候选常是相似用户的下一个选择;在 rollout 之外加一项锚定损失,可在保住顶部增益的同时把召回恢复到监督微调水平。