跳到主要内容
检索

# 最优解码调度(测地线)

1 篇关联报道

订阅更新
  1. arXiv

    掩码扩散的并行解码误差有了精确解:把生成看成随机顺序吸附,长相关文本的困惑度仍会变差

    掩码扩散模型一次并行揭示多个词元,代价是同一批词元被独立抽样,误差由此产生。对由马尔可夫链生成的文本,这一生成过程可映射为带标签间隙的随机顺序吸附,间隙统计满足闭合线性主方程,从而在任意步数、序列长度和调度下精确给出路径误差与输出统计。步数很多时误差化为热力学度量,最优调度是该度量的测地线;相关越长,误差越集中在生成开头,先小步后大步的调度收益越大。

已读完全部报道