跳到主要内容
返回时间线
arXiv来源发表:

注视点不再独占奖励信号:把眼动阅读时长摊成不对称分布,偏好预测准确率最高提升13.02%

核心概要

奖励模型训练中,眼动数据此前只挂在被直接注视的那个词元上,忽略了人阅读时注意力会覆盖注视点两侧一段区域。新做法把每个词元的预测总阅读时长按可学习的不对称高斯核分摊给邻近词元,再送入原有的注视特征投影与奖励模型。在OASST1上,Llama-3-8B-Instruct的GazeConcat设置准确率从68.38%升到74.73%,Llama-3-8B从69.23%升到74.81%;UltraFeedback上从65.65%升到74.20%。

Source-provided article image: Leveraging Psychophysical Attentional Distribution for Gaze-Augmented Reward Modeling
arXiv

深度剖析

奖励模型接收的眼动信号从“每个词元只带自己的注视时长”变成“每个词元带一片以注视点为中心、左右宽度可学的不对称注意力分布”。 此前的GazeReward类做法把眼动特征作为离散的词元级特征,只关联被直接注视的词元,而阅读研究认为视觉注意在注视点周围空间上是渐变的。 在OASST1上以六个随机种子取均值,GazeConcat设置下Llama-3-8B-Instruct的偏好预测准确率由68.38%升至74.73%,Llama-3-8B由69.23%升至74.81%;GazeAdd设置下两者分别由70.30%升至71.89%、由69.27%升至71.17%。

做法是在眼动特征生成与投影之间插入一个重分配模块,把稀疏的词元级总阅读时长摊平成覆盖邻近词元的稠密分布。 总阅读时长(TRT)指一个词上所有注视持续时间之和,被当作注意力投入量的代理;重分配用中心在注视词元、左右两侧宽度分别可学的不对称高斯核,按词元索引距离给邻居加权。 权重按每个注视点归一化以保持总阅读时长不变,两个宽度参数与奖励模型联合训练;在OASST1、HelpSteer2和UltraFeedback三个数据集上,以Llama-3-8B为骨干、GazeConcat为集成方式的配置均优于对应的逐点基线。

学到的分布形状在多数设置下右侧比左侧更宽,方向上与阅读心理物理学报告的不对称知觉广度一致。 在从左到右阅读中,知觉广度通常向注视点右侧延伸得比左侧更远,而逐点表示不包含任何方向性。 在OASST1的GazeConcat设置下,Llama-3-8B-Instruct与Llama-3-8B的右侧宽度均大于左侧;HelpSteer2是唯一学出左宽大于右宽的数据集,也是提升幅度最小的数据集。

启示与展望

实验在OASST1、HelpSteer2和UltraFeedback三个英文偏好数据集上进行,奖励模型骨干为Llama-3-8B与Llama-3-8B-Instruct,注视集成方式为GazeConcat与GazeAdd,每个条件跑六个随机种子并报告均值与标准差;由于与原始GazeReward公开代码保持一致并受算力限制,输入长度设了上限并剔除了超长样本。

重分配仍是对人类阅读视觉注意的简化近似,高斯核强制从注视中心单调衰减,而既有工作提示注意场可能呈墨西哥帽式非单调结构并存在个体差异;当前按词元距离而非字母距离重分配,且只用了总阅读时长这一种眼动特征。HelpSteer2上提升最小且学出的分布左宽大于右宽,作者推测与该数据集每个提示几乎只有两个候选回答、难以构造对比更强的偏好对有关。