等权评分细则并不等于等贡献:DCC把每条准则的分数夹进双中心区间,排名准确率随之提高
核心概要
按评分细则给大模型打分的强化学习通常把各条准则的分数等权相加,但不同准则在“满足”与“不满足”之间的分数差并不相同,等权并不等于等贡献。研究把这一差异形式化为奖励增益失衡,并给出候选两两奖励差的精确分解:失衡项既能放大也能削弱真正反映满足条数的基准信号,误排多集中在被削弱的候选对上。据此设计的双中心裁剪聚合DCC只用当前候选组的分数估计上下两个中心,把每条准则的贡献限制在区间内;在两个数据集和两个评判模型上,其Exact指标均高于所比较的方法。
深度剖析
评分细则奖励里,每条准则对最终奖励的实际影响既取决于被赋予的重要性权重,也取决于它在“满足”与“不满足”响应之间的期望分数差,即奖励增益。 此前的做法把各准则分数等权相加,或通过学习准则权重、变换分数表示、改进聚合方式来缓解评分异质性,但异质性如何影响候选排序仍不清楚。 在PointRubric训练集上用Mistral-7B的分数估计,原始分数的奖励增益均值为21.9545、方差为86.2175,说明增益既不为零也随准则变化。
把奖励增益失衡直接消除并不能提高排序,即使借助真实标签做校准也是如此。 按直觉,校准后每条准则增益相同、贡献相等,应当更接近真实排序。 校准后Exact在PointRubric上从75.30降到70.26、在RubricHub-6上从14.87降到12.39(Mistral-7B,原始分数);补充实验里Qwen3.6-27B的原始分数在RubricHub-6上从36.99降到21.95。
任意两个候选的奖励差可以精确拆成基准满足信号、奖励增益失衡项和残差项三部分,失衡项可以放大也可以削弱基准信号。 分解把“等权为何不等贡献”落到可检验的项上,并指出误排集中在失衡项削弱基准信号的候选对上。 Mistral-7B在PointRubric上,原始分数对失衡项为正的候选对排序正确率为99.00%,对失衡项为负的候选对只有86.44%。
DCC不消除失衡,而是用当前候选组分数拟合出的两个中心裁剪每条准则的分数,从而给单条准则对奖励差的贡献设上限。 二值聚合把分数压成两档会丢失连续性并产生大量并列,概率聚合的饱和点固定在评判模型的分数尺度上,容易提前饱和。 在两个数据集与两个评判模型上,DCC的Exact均高于所比较方法:Mistral-7B下比最佳对比方法高1.92和1.24个百分点,Qwen3.6-27B下高0.24和3.36个百分点;作为GRPO奖励微调Mistral-7B后,WritingBench总分三个种子平均从基线43.32升到52.24。
启示与展望
结论建立在PointRubric训练集与由RubricHub构造的RubricHub-6上,评判模型为Mistral-7B-Instruct-v0.3与Qwen3.6-27B,所有聚合方法使用同一批评判分数;GRPO微调只在RubricHub中31或32条准则的Writing提示子集上训练一个epoch,并用WritingBench官方设置评估。
仅凭评判分数无法知道响应真正满足哪些准则,因此包括DCC在内的任何只依赖分数的聚合方法都不能保证每个候选组排序正确;DCC在何种分数条件下能纠正一个误排候选对,仍待后续工作刻画。消融显示去掉下界在排名准确率上没有可测增益,但新评判模型或数据集的分数分布无法预先得知,DCC因此保留双侧边界。
