多选题偏差分数拆成两半:翻转率与位置偏斜,让两种缓解方法各归其位
核心概要
在每道题的每个选项都等频出现在每个位置的循环重排下,汇总选择率标准差可以精确分解为两个无需金标签的因子:答案随顺序改变的翻转率,以及改变后的答案落在哪些字母上的位置偏斜。对41个开放权重检查点和12个基准的测量显示,翻转率随准确率和输出不确定性变化,位置偏斜则跟随模型对选项字母的先验偏好。先验校正主要压低偏斜,把一种顺序与其逆序聚合主要压低翻转率,两者把准确率随正确选项字母的波动范围缩小得差不多,但聚合留下的模型排名反转更少,代价是更多题目稳定地停在错误选项上。
深度剖析
多选题评测里常被压成一个数的选项偏差,现在可以拆成两个各自可解释的量:答案随选项顺序改变的频率,以及改变后的答案偏向哪些字母。 此前选择偏差按整份基准的答案汇总成一个分数,顺序敏感性按单题计数,两类指标分开报告,一个汇总分数无法说明模型或缓解方法改变了哪一种行为。 在每道题的每个选项都等频出现在每个位置的循环重排下,汇总选择率标准差恰好等于翻转率与位置偏斜的乘积;这一恒等式在41个开放权重检查点、12个基准上成立,并同样适用于按正确选项字母统计的平衡RStd。
两种常见缓解方法作用在不同的因子上:先验校正改变改变后的答案落在哪里,把一种顺序与其逆序的概率相乘则改变答案是否改变。 两种方法把准确率随正确选项字母的波动范围缩小到相近程度,单看这一汇总指标会以为它们效果相同。 在同一批检查点与题目上,先验校正把平衡RStd从0.064降到0.036,逆序乘积也降到0.036,但逆序乘积把翻转率降得多得多;先验校正几乎不改变翻转率,也不减少模型排名反转,逆序乘积则把排名反转的检查点对比例从15.4%降到10.6%。
先做先验校正再做逆序乘积,可以同时压低两个因子,并把准确率随正确选项字母的波动范围收窄到5.3个百分点。 单独使用任一方法时,另一个因子基本不动,波动范围只降到9.6或8.2个百分点。 在同一批至少三个选项的检查点–基准对上,先验校正后接逆序乘积把波动范围降到5.3个百分点,排名反转维持在逆序乘积的10.6%水平;同一张表里批校准后接逆序乘积的波动范围为4.6个百分点,正文称该组合收得最窄,与表中数值不一致,这里只报告5.3这一格。逆序乘积及其组合把稳定错误的比例从0抬到6.2个百分点以上,准确率上升2.9个百分点。
启示与展望
分析覆盖41个开放权重检查点、7个模型家族和12个含2、4、10个选项的基准,答案取选项字母上最高下一词概率的首词读出,并以五样本提示、直接作答和思维链作为检查;缓解方法比较使用至少三个选项的检查点–基准对,先验在每格5%的留出题目上估计。
分析刻画的是选项顺序的可观测效应,而非产生这些效应的模型内部机制;与准确率和输出不确定性的关联不构成因果解释。降低任一因子也不保证预测更准:稳定但错误的答案可以一直稳定,位置偏斜下降未必转化为放置鲁棒性或排名稳定性的改善。实验集中于主要是英文的多选题基准、确定性读出和特定缓解配置。
