换一批语料,预测会变多少:平滑计数让分歧只降5–40%,远慢于样本量翻四倍该有的75%
研究给出一种只用独立参考语料就能预测“换一批同分布语料后掩码文本重建结果会差多少”的一阶公式,把每篇文档当作一个抽样单位,并保留平滑带来的影响。在TinyStories、WikiText-103和CNN/DailyMail上,语料从512块增到2048块,实测分歧只降5–40%,远低于按样本量反比预期的75%,公式能跟上这种缓慢下降。参考语料偏小时预测会系统性偏低,用只依赖参考数据的源拆分刀切法可把校准误差降低57–59%。