跳到主要内容
检索

# 基于设计的交叉验证(DB-CV)

1 篇关联报道

订阅更新
  1. arXiv

    把调查统计的小域估计搬进AI评测:PP-S与PP-TS在基准和真实流量上同时改善点估计与区间,DB-CV用一份样本选出与独立验证样本同样好的估计器

    该工作把AI评测的分解式评估视为有限总体抽样问题,提出对小域直接估计做贝叶斯平滑的PP-S及其沿报告分类层级借力的扩展PP-TS,并推导近似无偏的设计型交叉验证分数DB-CV;在Open LLM Leaderboard(9,324题、34个任务类型)与PRISM部署流量(68,371条评分回复、21个LLM×3种对话类型)两个全部结果已知的数据集上,平滑估计器在点估计与区间估计上均优于直接估计器、覆盖率接近名义95%,且DB-CV在同等预算下选出的估计器与独立验证样本相当,并更准确地报告所选估计器的误差。

已读完全部报道