选项顺序不再左右答案:迭代循环重排让五个基准、五个模型的翻转率全部归零
System One 决策模型一次前向就给出答案,但答案会随选项排列顺序改变,且概率里混有对答案标签的先验偏好。IJev 从与输入顺序无关的排序出发,反复用去先验的循环平均分布重排选项,再对每一轮分布取平均,而不是返回最后一轮。在五个基准、五个模型上,每个组合的翻转率都是零;默认的均匀轮平均在 25 个组合中有 24 个降低了负对数似然,准确率与单次循环平均相当。
System One 决策模型一次前向就给出答案,但答案会随选项排列顺序改变,且概率里混有对答案标签的先验偏好。IJev 从与输入顺序无关的排序出发,反复用去先验的循环平均分布重排选项,再对每一轮分布取平均,而不是返回最后一轮。在五个基准、五个模型上,每个组合的翻转率都是零;默认的均匀轮平均在 25 个组合中有 24 个降低了负对数似然,准确率与单次循环平均相当。
在长上下文任务上,自洽性这种多次采样再投票的推理技巧不但没有提升,反而稳定拉低表现,原因是模型对上下文位置的偏置让多次采样犯下同一类错误,投票把错误当成共识。
作者提出 BayesJudge,一个面向冲突人类-LLM 评判流的在线贝叶斯元评估层:它对每个比较输出后验裁决分布,同时估计每位人类评分者的混淆矩阵与 LLM 的呈现顺序偏差,并用开放式平局标签与 AB/BA 顺序互换作为协议级识别工具;合成实验恢复了预设评估者参数,在 SummEval 上检测到 LLM 位置效应、在无评分者元数据下区分专家与众包工作者行为特征,且后验不确定性与人类分歧相关。
该研究在534个JudgeBench配对与1802个MT-Bench比较上,用嵌套分组交叉验证训练L2正则化线性探针,读取判决前残差流激活来预测LLM评判者因候选顺序交换而改变所选回答身份的位置翻转;四个评判者的AUROC为.621–.850,优于包含口头置信度、判决logit、长度差与初始选择的组合基线.062–.113,且冻结迁移到MT-Bench后AUROC为.685–.853。
该研究用稀疏自编码器(SAE)特征分析 Gemma 3 4B/12B IT 与 Qwen3-8B 在临床分诊情景下的表现,发现医学特征在两种格式下都激活于共享临床叙述,但在多选题决策 token 处失活;急诊分级信息在情景表征中线性可解码(ROC-AUC 0.95–1.00)且无显著格式差异,却在决策 token 处被衰减,脚手架峰值特征在 Gemma 模型中占未符号归因的 91% 以上,从而把格式效应的最强相关因素定位在答案选择阶段。
已读完全部报道