服装图案生成不再只靠文字提示:DSG-BDF把语义图与结构控制双向耦合,FID降到19.8
核心概要
服装主题图案的可控生成长期依赖文字提示或独立的结构分支,语义与结构两条条件路径在去噪过程中缺少耦合,容易出现语义漂移和风格波动。DSG-BDF把设计主题文本经CLIP ViT-L/14编码后组织成设计语义图,用图神经网络编码为结构化语义向量,与ControlNet的轮廓、对称与布局结构路径在去噪阶段双向调制。在统一设置下,其CLIP-Score为0.347±0.003、FID为19.8±0.4、SCI为0.912±0.012,均高于最强基线FashionDiff(CLIP-Score 0.341、FID 20.9)。
深度剖析
服装主题图案生成多了一条在去噪过程中互相调节的语义与结构条件路径,而不只是把两类条件并排叠加。 此前的可控扩散方法中,ControlNet主要承担结构控制、CLIP主要承担语义对齐,两条路径各自独立;FashionDiff的结构调制权重在整个去噪过程中保持静态,PatternNet的结构与语义通路之间没有双向交互。 在统一提示与随机初始化下,DSG-BDF的CLIP-Score为0.347±0.003、FID为19.8±0.4、R-Precision为0.742±0.006,最强基线FashionDiff为CLIP-Score 0.341±0.003、FID 20.9±0.5、R-Precision 0.728±0.006,配对双尾t检验(n=5)p=0.003。
语义条件由一张描述图案元素与风格属性关系的图来承载,而不是单个文本向量。 单一向量嵌入难以表达图案元素之间的组合关系与风格依赖结构,在复杂主题描述下会造成语义歧义。 设计主题文本经CLIP ViT-L/14编码后,按Stanford CoreNLP依存标签把词元分为元素节点与风格节点,节点间连接权重由文本自注意力矩阵与节点特征相似度共同决定,再经图卷积传播与全局聚合得到结构化语义向量。
结构条件被拆成轮廓、对称轴与布局密度三个通道,经ControlNet分支注入去噪主干。 仅靠文字语义条件难以维持图案结构的稳定性,轮廓、对称关系与布局规则属于空间约束。 在八类几何组织(对称、重复、径向、网格、条纹、棋盘、散点母题、自由布局)上,DSG-BDF的SCI在对称结构为0.927、网格为0.915、重复为0.908、条纹为0.903、径向为0.902、散点为0.898、自由布局为0.892,各类标准差在0.009至0.026之间。
双向协同模块的主要作用是在去噪阶段化解两条条件路径之间的冲突,而不是直接放大语义一致性。 把DSG与ControlNet同时引入但不加协同调制的M6配置,CLIP-Score为0.340、SCI为0.901、风格稳定性为0.823。 完整模型相对M6的CLIP-Score、SCI与风格稳定性分别提升0.007、0.011与0.061;在Fashionpedia与ModaNet上不做微调,M6到M7的风格稳定性增益分别为0.061与0.059。
启示与展望
演示范围是512×512分辨率的服装主题图案生成,训练数据由DeepFashion子集、图案分类数据集子集、人工筛选图案与语义增强样本组成,跨数据集测试只覆盖Fashionpedia与ModaNet,且不做额外微调。推理在单张NVIDIA A100 80GB上以50步采样完成,单图平均2.03秒、峰值显存11.4GB、参数量1252M。读者若关心开放词汇设计语义或更高分辨率,需要看后续工作。
CLIP ViT-L/14同时用作训练监督信号与评测编码器,存在指标与训练循环的问题,作者以DINO-Similarity与FID作为部分缓解。感知研究由30名服装或视觉设计背景的评审完成,这一规模限制了区分排名接近模型的能力。语义图建模依赖离散语义单元与关系结构描述,高层设计语境下的复杂视觉风格在图中受到表示压缩。训练标注中80%由规则依存解析生成、20%由三名标注者完成,风格属性标注的不一致会给语义图构造引入噪声。
