跳到主要内容
返回时间线
arXiv来源发表:

掩码扩散的并行解码误差有了精确解:把生成看成随机顺序吸附,长相关文本的困惑度仍会变差

核心概要

掩码扩散模型一次并行揭示多个词元,代价是同一批词元被独立抽样,误差由此产生。对由马尔可夫链生成的文本,这一生成过程可映射为带标签间隙的随机顺序吸附,间隙统计满足闭合线性主方程,从而在任意步数、序列长度和调度下精确给出路径误差与输出统计。步数很多时误差化为热力学度量,最优调度是该度量的测地线;相关越长,误差越集中在生成开头,先小步后大步的调度收益越大。

AI-generated editorial illustration: Masked diffusion as random sequential adsorption: an exactly solvable model for parallel decoding

深度剖析

并行解码的误差被写成生成过程相对反向掩码过程的熵产生,对任意数据都成立,并且可以按步拆成每一项的平均场近似误差。 此前对一般数据的工作把单步误差写成同批揭示词元的条件总相关,并用词元间互信息给出累积误差上界;这里给出的是逐项可分解的等式,而不是上界。 每一步的项比较同批揭示词元的精确联合分布与各自边缘分布的乘积,由吉布斯不等式非负,且当同批词元在已揭示条件下独立时为零。

对马尔可夫数据,生成过程等价于随机顺序吸附:已揭示词元像沉积粒子,把掩码序列切成互不影响的间隙,间隙统计满足闭合线性主方程。 此前可解析处理的数据模型包括 n-gram、隐马尔可夫语言和图上随机游走,缺少一个能在任意步数下同时精确计算误差与输出质量的模型。 主方程对任意步长精确,包括一步揭示全部位点;短序列的全历史枚举与长序列直接模拟都在机器精度或两个标准误内与主方程一致。

步数很多时,路径误差化为缓慢驱动系统的耗散,揭示比例充当驱动协议,步数充当持续时间,误差由词元间互信息给出的热力学度量决定。 一般数据下已有同形式的误差表达式,这里对马尔可夫数据给出该度量的显式闭式结果,并可直接检验大步数理论何时适用。 精确解在任意步数下已知,因此可以直接检验大步数理论;在所用参数下大步数结果与精确解吻合。

输出质量与路径误差可以分开:长相关数据下均匀调度的路径误差饱和后,生成困惑度仍随相关长度增长,而按测地线构造的调度同时降低两者。 测地线调度原本只为最小化路径误差而构造,这里显示它在长相关数据上也降低困惑度;对相关很短的英文文本,最优调度接近均匀,收益很小。 二元链上均匀调度的多余开关密度随相关长度趋于常数,每个多余开关的代价随数据更可预测而增大;字符级英文二元模型的最大相关长度只有几个字符,三种调度在步数不大时即达到渐近系数。

启示与展望

精确解针对由马尔可夫链生成的词元序列,即二元语言模型,覆盖任意步数、序列长度和调度;示例包括可调相关长度的二元自旋链和字符级英文二元模型。作者指出,选择概率只依赖最近已揭示词元的揭示规则仍保持主方程闭合,因此这类实际采样器可在同一框架内分析。

自然语言具有幂律相关和层次结构,实测互信息在短距离指数衰减后转为幂律,此时已揭示词元不再屏蔽,精确解不适用,作者把推广到马尔可夫数据之外留作后续工作。测地线调度只在步数很大的首阶意义下最优,步数很小时其他调度可能略好。