把群体差异从学习模型里抹掉,差距并不会消失:审计先算出代价,Eedi上新班级实测约0.021 Brier分
核心概要
自适应辅导模型常用“抹掉群体信号”来求公平,但抹掉的是预测里的平均群体差,不是真实差距。研究给出这种抹除的最小额外误差闭式表达,并设计三阶段审计:在训练单元拟合、在验证单元公布代价、在独立单元检验。三个真实数据集上,抹除后模型几乎预测不出实际存在的差距;在Eedi上以独立单元选出知识追踪网络后,审计在五个划分中全部接受公布代价,实测代价均落在公布区间内,差距缩小在四个划分中迁移到新班级。
深度剖析
从只使用学生状态的预测器里去掉平均群体差,会带来一份可以事先算出的额外误差,而这份误差在真实学习数据上并不小。 此前的做法是把群体方向从模型表示或动力学中投影掉,使预测的群体差距接近零,却没有给出这一操作本身要付多少预测精度。 在ASSISTments、Eedi和OULAD三个数据集上,投影后的模型预测的差距接近零,而留出单元上观测到的差距分别为+0.057、−0.085和−0.048;同秩的随机方向与最低方差主成分造成的误差远小于群体方向。
这份代价有闭式形式:它等于最优预测的方差乘以其与群体信号的相关系数平方,也等于群体份额乘积乘以预测差距平方再除以状态对群体的解释比例。 该结构与均值奇偶回归已知的结果一致,这里把它用于只依赖状态的预测器,并给出可估计的两种等价写法与上界。 在五个真实设置上,公式在训练数据上与实测额外误差一致,在留出学生上与实测值相差0–13%;性别设置的预测与群体信号对齐弱(|ρ|=0.27),代价小,残障设置对齐强(|ρ|=0.77)而状态几乎不解释群体(R²=0.004),代价约为前者的八倍。
审计公布的是“实际能构造出的修正”的代价,并在数据不支持估计时弃权。 直接在校准数据上量误差会有偏,早期版本在训练单元上公布0.79,而总体代价为1.01。 在Eedi上,网络在单独的单元上选出后,五个划分全部接受公布代价,实测代价0.017–0.027(均值0.021)全部落在公布区间内,差距缩小在四个划分中迁移到新班级;在新ASSISTments学校上,审计在五个划分中全部弃权。
启示与展望
结论建立在三个观测数据集上的预测比较和一个自建辅导模拟器上,不评估真实学生使用的辅导系统;ASSISTments的群体是按学校事后表现划分,Eedi与OULAD使用数据外记录的属性,Eedi只覆盖记录了资助状态的29%学生。
审计区间是近似的:受控研究中名义95%区间在接受的重复里覆盖实测代价的比例为90–100%,Eedi上区间宽度为代价的1.0–2.0倍,五个划分共享单元而非五次独立验证;当群体模型漏掉部分群体信号时,公布代价对最小值的估计偏保守,诊断无法发现这一点。
