跳到主要内容
返回时间线
arXiv来源发表:

薛定谔桥也能免训练条件采样:BridgeTwist把速度与分数合成端点预测,无需为每个任务重训

核心概要

预训练的薛定谔桥生成模型此前只能为每一类条件似然单独训练网络,无法像扩散模型和流模型那样免训练复用。BridgeTwist把桥预训练暴露的速度场与分数场合成一个闭式端点预测器,用时间变化的温度压低早期不可靠的扭转,再配合桥形扩散日程与重要性权重校正,构成渐近精确的采样器。在类别条件与文本提示图像生成上它优于免训练基线,在去模糊、超分辨与图像修复上与专用求解器相当。

Source-provided article image: BridgeTwist: Twisting Schrödinger Bridges for Training-Free Conditional Sampling
Figure 1 · arXiv · 第 2 页

深度剖析

免训练条件采样现在可以建立在预训练的无条件薛定谔桥之上,同一个桥先验通过可微似然支持多种下游条件任务,而不必为每种似然重训一个网络。 扩散模型和流匹配先验已有梯度引导、投影和序贯蒙特卡洛等免训练方案,而基于薛定谔桥的条件方法此前都要针对每一类似然训练专用网络。 在类别条件与文本提示图像生成上,BridgeTwist优于免训练基线;在CelebA-HQ超分辨与高斯去模糊、CIFAR-10半图与随机50%掩码修复上,它与PnP-Flow、Flower、FlowDPS等专用图像修复求解器相当。

采样器把每个粒子沿桥向前推进,并在中途按权重重采样,使粒子群逐步逼近给定似然下的端点后验。 理想的前瞻扭转是预测似然,需要对全部未来轨迹积分,直接蒙特卡洛估计代价过高,因此改用插件式替代。 插件扭转由桥预训练给出的速度场与分数场组合成端点条件均值,再在似然处取值;温度指数在早期压低其影响,桥形扩散日程把提议噪声集中在路径中段,逐步重要性权重相乘后中间扭转因子相互抵消,端点目标保持不变。

启示与展望

演示范围限于布朗参考下的薛定谔桥先验,任务包括MNIST与CIFAR-10类别条件采样、CelebA-HQ文本提示生成,以及CelebA-HQ超分辨与去模糊、CIFAR-10修复;面向需要复用预训练桥模型做条件采样的生成建模研究者。

方法目前只适用于布朗参考的薛定谔桥,换用其他参考需要参考特定的端点预测器;扭转只用端点条件均值,对强弯曲似然或多峰端点后验可能不准,二阶扩展只在低维算例中改善;采样目标是由学习到且离散化的先验诱导的后验,仍带有先验学习与离散化误差;准备桥先验还需额外一个分数头,带来一次性开销。