跳到主要内容
检索

Hyunjong Ok

1 篇关联报道

订阅更新
  1. arXiv

    多选题偏差分数拆成两半:翻转率与位置偏斜,让两种缓解方法各归其位

    在每道题的每个选项都等频出现在每个位置的循环重排下,汇总选择率标准差可以精确分解为两个无需金标签的因子:答案随顺序改变的翻转率,以及改变后的答案落在哪些字母上的位置偏斜。对41个开放权重检查点和12个基准的测量显示,翻转率随准确率和输出不确定性变化,位置偏斜则跟随模型对选项字母的先验偏好。先验校正主要压低偏斜,把一种顺序与其逆序聚合主要压低翻转率,两者把准确率随正确选项字母的波动范围缩小得差不多,但聚合留下的模型排名反转更少,代价是更多题目稳定地停在错误选项上。

已读完全部报道