跳到主要内容
检索

# 位置偏差

5 篇关联报道

订阅更新
  1. arXiv

    选项顺序不再左右答案:迭代循环重排让五个基准、五个模型的翻转率全部归零

    System One 决策模型一次前向就给出答案,但答案会随选项排列顺序改变,且概率里混有对答案标签的先验偏好。IJev 从与输入顺序无关的排序出发,反复用去先验的循环平均分布重排选项,再对每一轮分布取平均,而不是返回最后一轮。在五个基准、五个模型上,每个组合的翻转率都是零;默认的均匀轮平均在 25 个组合中有 24 个降低了负对数似然,准确率与单次循环平均相当。

  2. 长上下文里自洽性反而拖后腿:八次采样七次错在同一处,位置偏置被投票放大

    在长上下文任务上,自洽性这种多次采样再投票的推理技巧不但没有提升,反而稳定拉低表现,原因是模型对上下文位置的偏置让多次采样犯下同一类错误,投票把错误当成共识。

  3. arXiv

    BayesJudge 将冲突的人类与 LLM 评判建模为后验分布,在 SummEval 上把专家预测准确率提升到 65.3%

    作者提出 BayesJudge,一个面向冲突人类-LLM 评判流的在线贝叶斯元评估层:它对每个比较输出后验裁决分布,同时估计每位人类评分者的混淆矩阵与 LLM 的呈现顺序偏差,并用开放式平局标签与 AB/BA 顺序互换作为协议级识别工具;合成实验恢复了预设评估者参数,在 SummEval 上检测到 LLM 位置效应、在无评分者元数据下区分专家与众包工作者行为特征,且后验不确定性与人类分歧相关。

  4. arXiv

    判决前残差流激活可预测LLM评判者的位置翻转,AUROC达.621–.850并跨基准迁移至.685–.853

    该研究在534个JudgeBench配对与1802个MT-Bench比较上,用嵌套分组交叉验证训练L2正则化线性探针,读取判决前残差流激活来预测LLM评判者因候选顺序交换而改变所选回答身份的位置翻转;四个评判者的AUROC为.621–.850,优于包含口头置信度、判决logit、长度差与初始选择的组合基线.062–.113,且冻结迁移到MT-Bench后AUROC为.685–.853。

  5. arXiv

    稀疏自编码器定位临床分诊格式效应:医学特征在决策 token 处失活,脚手架特征占 Gemma 归因逾 91%

    该研究用稀疏自编码器(SAE)特征分析 Gemma 3 4B/12B IT 与 Qwen3-8B 在临床分诊情景下的表现,发现医学特征在两种格式下都激活于共享临床叙述,但在多选题决策 token 处失活;急诊分级信息在情景表征中线性可解码(ROC-AUC 0.95–1.00)且无显著格式差异,却在决策 token 处被衰减,脚手架峰值特征在 Gemma 模型中占未符号归因的 91% 以上,从而把格式效应的最强相关因素定位在答案选择阶段。

已读完全部报道