跳到主要内容
返回时间线
arXiv来源发表:

扩散模型不再为每个分布重训:给一小撮样本,反向采样直接生成新任务

核心概要

扩散模型此前只能学一个固定目标分布,或学一族由训练时预设条件变量索引的分布,遇到没见过的分布就得重训或微调。现在把每个目标分布当作从元分布抽出的任务,推理时只用一小撮样本作为上下文,让一个共享的分数算子直接输出该任务的分数,从而无需更新参数即可反向扩散采样。理论上该分数可写成高斯核条件均值,其经验Nadaraya–Watson估计能被所构造的Transformer类精确表示;在Navier–Stokes、ERA5、QuickDraw和Food-101上,低内在维度任务表现好,任务越复杂性能越下降。

Source-provided article image: Transformer-based In-Context Score Operator Learning for Diffusion Models
Figure 5 · arXiv

深度剖析

扩散模型现在可以在推理时只凭一小撮样本适配一个此前没见过的目标分布,不必重训、微调或改动任何任务专属参数。 此前的扩散模型学的是单个训练数据集对应的反向生成动力学,条件扩散模型虽然覆盖由类别标签、文本嵌入等预设条件变量索引的一族分布,但条件机制的形式和语义在训练时就已固定,无法仅凭一小撮无序上下文样本推断新分布。 在二维Navier–Stokes涡量场上,方法在分布内以及三个分布外黏性设置上都优于条件扩散模型和SNO基线,只有分布外高黏性一档的加权平均能量对数比略逊于条件扩散模型。

做法是把任务适配变成一次算子求值:上下文集合负责指明目标分布,共享算子负责捕捉任务族里的共同结构。 与先把提示集压成一个全局表示再据此预测分数不同,这里直接作用在经验上下文集合上,通过上下文样本、含噪查询点和扩散时间之间的查询相关交互来构造分数估计。 训练用跨任务分布的摊销去噪分数匹配,推理时把学到的算子当作反向时间SDE的分数估计,用Euler–Maruyama格式采样;在ERA5气候数据、QuickDraw简笔画和Food-101图像上,多数指标优于条件扩散模型和SNO。

任务相关分数可以写成高斯核条件均值,把总体条件均值换成经验版本就得到基于上下文样本的Nadaraya–Watson估计量。 这一表示给出了使用Transformer的动机,而不是把Transformer架构当作临时选定的设计。 该经验估计量能被所构造Transformer类中的某个模型精确表示,注意力机制因此与高斯核回归直接对应;泛化误差界把上下文规模、训练任务数、每任务回合数、每回合扩散采样数以及内在与外在维度的影响分开。

启示与展望

演示范围覆盖二维Navier–Stokes涡量场、ERA5气候数据、QuickDraw简笔画和Food-101图像四类数据;Navier–Stokes同时评估了分布内与分布外任务,其余数据集只评估分布内生成。方法面向需要在推理时适配一族相关分布的研究者与工程师,尤其是任务分布集中在低维流形上的科学计算场景。代码已公开,并附带定理1的Lean 4形式化。

有限上下文误差随上下文规模以内在维度决定的指数衰减,外在维度只以多项式和 logarithmic 因子进入;任务级持续项不受每任务回合数和扩散采样数影响,因此仅增加任务内采样无法弥补元训练任务覆盖不足。在QuickDraw和Food-101上,随着类别任务数增加,所有方法性能普遍下降,这反映的是每任务数据、提示规模和共享模型容量固定下的资源受限情形,而非方法对类别任务分布的固有限制;增加数据与模型容量能否缓解这一退化,留待未来工作。