1,813 对英美变体贯穿审计:六套预训练语料、21 个后训练数据集与十个检查点都偏向美式英语
该研究构建了 1,813 对匹配的美式英语—英式英语变体资源并提出免训练的 DiAlign 区域对齐估计方法,据此审计六个预训练语料、21 个后训练数据集、九个分词器与十个模型检查点以及两种提示条件下的生成结果,发现美式英语在数据暴露、表示与生成三个阶段均被系统性偏向,且英式英语提示只能部分改变这一默认。
该研究构建了 1,813 对匹配的美式英语—英式英语变体资源并提出免训练的 DiAlign 区域对齐估计方法,据此审计六个预训练语料、21 个后训练数据集、九个分词器与十个模型检查点以及两种提示条件下的生成结果,发现美式英语在数据暴露、表示与生成三个阶段均被系统性偏向,且英式英语提示只能部分改变这一默认。
该工作提出 Functionalizer——一个无损的预分词框架,把大小写、变音符号和字符重复等正字法变化分解为 Unicode 私用区中的操作码/操作数前缀流,在自然语言与代码语料上实现完整覆盖的同时把所需词表槽位最多减少 19.7%,并在 98M 参数 GPT-2 上把 Python 语法有效率从 7.70% 提升到 9.12%、把 FineWeb-Edu 散文的重复 n-gram 从 66.0% 降到 55.8%。
已读完全部报道