跳到主要内容
返回时间线
arXiv来源发表:

自回归模型学会改自己的稿:插入、替换、删除都不必重算,HumanEval无提示得分59.2

核心概要

自回归解码按生成顺序写定输出,无法回头修改,扩散模型虽能改词却受固定长度和绝对位置限制。AutoIndexer把生成顺序与显示顺序解耦,用标记头决定何时编辑、指针头定位编辑区间,并通过扰动训练让模型学会撤销插入、替换和删除。在Qwen3 8B骨干上,它保持常规基准表现,HumanEval无提示得分59.2,高于匹配LoRA基线的51.2和扩散基线。

Source-provided article image: AutoIndexer: Flexible-Order Decoding by Training Causal Models on Chains of Edits
Figure 1 · arXiv

深度剖析

生成模型现在可以在写完之后回头改自己的输出,插入、替换、删除任意数量的词元,而且输出长度不受限制。 此前的自回归解码一旦生成就无法修改,扩散模型虽然能纠正词元,但输出长度固定,且每个词元位置固定,不能任意增删。 在Qwen3 8B骨干上,AutoIndexer在MMLU、ARC-Challenge、GSM8K、MATH500等常规基准上与匹配的Qwen3 LoRA基线基本持平,同时超过LLaDA 8B和Dream 7B两个扩散基线;HumanEval无提示得分59.2,高于匹配LoRA基线的51.2。

模型靠一套类似文本编辑器的机制工作:先决定何时开始编辑,再指出要改哪一段,然后写入替换内容并返回。 与Fill-in-the-Middle不同,编辑区间不是外部给定的,而是由模型自己预测起点和终点。 训练时对干净序列施加随机的逆编辑操作,让模型学会撤销这些操作;在自由生成诊断中,删除和替换的编辑区间定位准确率接近七成,删除情形有53/100完全修复,替换有18/100完全修复。

启示与展望

这套机制在Qwen3 8B骨干上验证,覆盖常规语言、数学与代码基准,以及插入、删除、替换和无操作四类编辑诊断。它面向需要反复修订输出的场景,例如代码修正、长文写作和结构化文档。代码已在公开仓库发布。

插入类编辑最难触发,不到一半的受污染草稿引发编辑;即使触发,替换内容也常短于应有长度。自由生成诊断每个操作使用100个窗口,平均编辑规模为5,结果来自单一检查点。