Cohere 提出 RCP-nDCG@10:用校准 AI 评审替代固定答案键,在 289 场盲测中 77% 与人类偏好一致,而传统 nDCG 仅 52%
Cohere 提出 RCP-nDCG@10 检索评测方法,用校准 AI 评审对每篇检索文档按统一相关性评分标准打分,并结合成组比较与校准,从而为答案键未收录的相关文档记分;在 46 名标注者、273 个查询、289 场盲测对比中,两指标给出不同胜者时评审 70% 支持 RCP-nDCG,总体 RCP-nDCG 与人类偏好一致率 77%、传统 nDCG 为 52%,且其优势主要来自为答案键遗漏的相关文档记分(贡献 19 个百分点)。