跳到主要内容
返回时间线
arXiv来源发表:

换一批语料,预测会变多少:平滑计数让分歧只降5–40%,远慢于样本量翻四倍该有的75%

核心概要

研究给出一种只用独立参考语料就能预测“换一批同分布语料后掩码文本重建结果会差多少”的一阶公式,把每篇文档当作一个抽样单位,并保留平滑带来的影响。在TinyStories、WikiText-103和CNN/DailyMail上,语料从512块增到2048块,实测分歧只降5–40%,远低于按样本量反比预期的75%,公式能跟上这种缓慢下降。参考语料偏小时预测会系统性偏低,用只依赖参考数据的源拆分刀切法可把校准误差降低57–59%。

Source-provided article image: Forecasting Corpus-Sampling Disagreement in Masked Text Reconstruction
Figure 1 · arXiv

深度剖析

换一批同分布语料后,掩码文本重建器的输出会变多少,现在可以在不训练新模型、也不看目标语料结果的情况下先算出来。 此前判断预测对语料的依赖只能靠平均测试误差,而同样准确的预测器可能在同一输入上给出不同答案,验证集表现相近也可能掩盖部署行为的差异。 在TinyStories、WikiText-103和CNN/DailyMail上,每语料七对独立语料对显示,语料从512块增到2048块,实测分歧只降5–40%,而按样本量反比应降75%,公式在每个语料上都跟上了这条缓慢曲线。

预测的输入是独立参考语料上的计数统计,而不是目标语料本身。 公式把每篇文档当作一个抽样单位,保留文档长度、随机行总数和不同偏移之间的协方差,因此能解释平滑为何让分歧下降慢于样本量反比。 参考语料规模决定校准好坏:参考小于目标时两种解析公式都系统性低估分歧,源拆分刀切法把源公式误差从0.469降到0.203、把多项式公式误差从0.205降到0.085,分别降低56.7%和58.5%。

计数公式与小型掩码扩散语言模型的对照显示,两者只在部分层面一致。 计数预测能部分指出哪些输入对语料最敏感,但无法解释神经模型随语料增大而快得多的分歧下降。 在三个语料、512到2048块、12000步更新下,MDLM分歧下降72.9%、81.5%、79.9%,而重建器只降38.9%、4.9%、11.4%;源公式预测与MDLM分歧的Spearman相关在TinyStories、WikiText、新闻上平均为0.48、0.38、0.18。

启示与展望

这套预测针对的是用邻近词对计数加平滑构建的掩码文本重建器,评估覆盖GPT-2全部50257个词元、64词元块、三种语料和512到2048块的规模范围,参考语料与目标语料相互独立。作者提出,该方法可扩展到n元模型和归一化共现或点互信息估计,并可用于评估候选语料规模、找出满足给定稳定性目标的最小语料,但这些属于后续目标,尚未在本文中验证。

参考语料更大并不必然改善校准,因为参考误差与线性化误差可能相互抵消;一阶公式假设词表固定、上下文概率为正,刀切法要求参考源数量上的偏差展开正则,二者都不对稀疏行或增长中的词表给出统一保证。校正也无法处理参考语料从未出现的行。区间只反映参考库与语料对之间的波动,条件在辅助量和128个评估块上,六个参考库限制了精度,WikiText按段落抽样未建模文章内依赖,新源检验只有六对语料和每语料三个参考库。MDLM对照只覆盖小型Transformer和小语料、三对语料和固定更新预算,更大语料获得更少遍历次数,训练本身也影响测得的规模响应。