VL-DE 让变长多模态生成不再补齐:RICO 版面 FID 2.32,略优于 LayoutFlow 的 2.37
核心概要
扩散与流模型大多要求数据长度固定,而版面、分子这类数据同时含连续坐标与离散类别,长度随内容变化。VL-DE 不把数据补齐到固定槽位,而是给每个坐标分配插入时刻、各自按自己的时钟去噪,在任意状态空间上直接生成变长多模态数据。在 RICO 版面生成上,它既不接收元素数量也不补齐,FID 为 2.32,LayoutFlow 为 2.37,验证数据为 2.10。
深度剖析
变长多模态生成可以在不补齐、不把长度作为输入的前提下完成,生成过程直接定义在原始状态空间上。 此前的做法要么把数据补齐到固定槽位,要么把元素数量作为输入或单独建模,多模态变长方法还常要求各模态共享同一长度。 在 RICO 版面生成上,VL-DE 既不接收元素数量也不补齐,FID 为 2.32,LayoutFlow 为 2.37;同一数据集上 Edit Flows 为 6.43、FlexMDM 为 8.41、OneFlow 为 3.31、Branching Flows 为 12.09。
做法是给每个坐标一个插入时刻,插入后该坐标按自己的时钟去噪,所有坐标在终点同时变干净。 训练时引入一个记录潜在插入操作的辅助变量,对联合过程采样即可得到可计算的损失,无需对可能产生同一状态的插入历史求和。 在 RICO 与 PubLayNet 的无条件版面生成上,VL-DE 的 FID 分别为 2.32 和 8.45,验证数据为 2.10 和 8.10。
插入与去噪两项可以分开积分,由此得到适用于时变马尔可夫过程的二阶采样器。 常规算子分裂要求各项不显含时间,而插入项与去噪项都随时间变化,直接套用不成立。 在学习插入分布的模型上,直接分裂采样按步数计在低步数时优于 Euler,两者在步数增加后持平;按网络评估次数计,Euler 在每个预算下都更好。
启示与展望
演示范围限于两模态的变长生成:RICO 与 PubLayNet 的无条件版面生成、CGL 的内容感知版面生成、QM9 的 3D 分子生成,以及符号与数字两条序列长度不同的算术等式玩具问题;Crello 上元素数与文本串长度各自变化的实验被明确说明为演示而非基准结果。
框架虽支持任意多模态,但全部实验只用了两个模态;在版面上,分裂采样器按步数的收益并未转化为按网络评估次数的收益,只有在某一算子评估代价很低或配合缓存时才可能成为显著的成本优势。
