扩散模型不再为每个分布重训:给一小撮样本,反向采样直接生成新任务
扩散模型此前只能学一个固定目标分布,或学一族由训练时预设条件变量索引的分布,遇到没见过的分布就得重训或微调。现在把每个目标分布当作从元分布抽出的任务,推理时只用一小撮样本作为上下文,让一个共享的分数算子直接输出该任务的分数,从而无需更新参数即可反向扩散采样。理论上该分数可写成高斯核条件均值,其经验Nadaraya–Watson估计能被所构造的Transformer类精确表示;在Navier–Stokes、ERA5、QuickDraw和Food-101上,低内在维度任务表现好,任务越复杂性能越下降。