文档级关系抽取不再反复去噪:Syn2DRE双教师互教,训练26小时、用3万篇无标注文档
核心概要
文档级关系抽取要跨句判断实体对之间的关系,高质量标注代价高,而伪标签方法往往需要反复训练去噪,还会把错误标签越训越牢。Syn2DRE把两个结构不同的教师—学生网络放进同一次训练:教师用指数滑动平均跟随学生,只保留预测方差最低的伪标签,并让两个教师在对同一实体对判断不一致时交换高置信标签。在Re-DocRED上,它的开发集/测试集F1为79.53/79.40,高于UGDRE的78.28/78.14;训练耗时26小时、使用30,480篇无标注文档,UGDRE为55小时、101,873篇。
深度剖析
文档级关系抽取的伪标签训练从多轮迭代去噪改为一次训练内完成,两个教师—学生网络并行生成并筛选伪标签。 此前的伪标签路线要么直接使用伪标签而不评估其可靠性,要么像UGDRE那样依赖单一模型、经过多轮训练与去噪,计算开销明显增加,而确认偏误仍未真正处理。 在Re-DocRED上,Syn2DRE的开发集/测试集F1为79.53/79.40,UGDRE为78.28/78.14,KD-DocRE为76.47/76.14;在DocRED上,Syn2DRE相对UGDRE的开发集/测试集增益为+0.38/+0.56 F1。
两个教师网络各自用指数滑动平均跟随自己的学生,学生则分别采用KD-DocRE和UGDRE两种不同结构。 指数滑动平均是对学生参数做加权平滑,使教师输出比单次前向更稳定;两个学生一个基于轴向注意力,一个基于词级图,实体对表示和训练目标都不同。 教师对每个实体对做多次随机前向,用各关系logit的方差衡量不确定性,按不确定性从低到高选取正、负样本,正负样本比例按约97%实体对为负类的类别不平衡设置。
两个教师在对同一实体对的预测不一致时交换高置信伪标签,用对方的软标签监督自己的学生。 同构模型互相教学容易延续同一类错误,交叉监督让每个学生从自己不易推断出的信号中学习,以缓解确认偏误。 在Re-DocRED上的消融中,去掉交叉监督后开发集F1从79.93降到79.79,去掉自监督步骤后降到79.52;完整模型在测试集上为79.50。
训练流程把预训练、热身、自监督与交叉监督合并为端到端过程,交叉监督每隔固定步数执行一次。 预训练用远程监督的DocRED数据初始化学生,再把参数复制给教师;热身阶段使用人工标注数据,之后交替执行两个步骤,以避免残余标签噪声导致互相过拟合。 在Re-DocRED上,Syn2DRE训练耗时26小时、使用30,480篇无标注文档,UGDRE为55小时、101,873篇;在CDR上测试F1为84.77,比最佳基线高8.47分,在GDA上为85.45,提高0.15分。
启示与展望
评估覆盖DocRED、Re-DocRED、HacRED三个通用领域数据集和CDR、GDA两个生物医学数据集;HacRED、CDR、GDA没有提供无标注数据,实验把它们的验证集当作无标注数据,并且不在其原始标签上预训练。读者对象是从事文档级关系抽取与半监督训练的研究人员和工程师。
方法仍需要相当数量的人工标注数据,这限制了它在生物医学等低资源领域的适用性;双网络设计使GPU显存占用接近UGDRE的两倍;方法目前只支持两个模型的二元设置,伪标签阈值在实验中固定,自适应阈值尚未探索。
