跳到主要内容
返回时间线
arXiv来源发表:

信息图不再整张重画:文字留在矢量层,插图分层生成,改字换语言不用再跑扩散

核心概要

面向在线学习助手的信息图生成改为混合表示:文字与版式留在可编辑的矢量层,非文字插图由并行分层扩散生成,在保持文字准确的同时拿到更高的整体观感评分。

Source-provided article image: LayerCanvas: Infographic Generation in AI Learning Assistants via Hybrid Layer-Set Diffusion
Figure 1 · arXiv

深度剖析

信息图生成被拆成两件事:确定性的矢量结构负责几何、层级、遮挡顺序和文字,扩散模型只负责把非文字内容画得好看。 此前两条路各缺一半:矢量表示保留几何、层级和文字但外观偏僵硬,栅格扩散模型外观丰富却把内容和版式压平成一张图。 在共享的留出布局上,这一混合表示在全部文字指标上超过两个栅格基线,并接近按构造放置精确文字的矢量参考。

做法是把矢量元素按遮挡关系分成有序且互不重叠的层组,每组由一条并行的 RGB 生成流处理,再按绘制顺序合成。 把矢量图先栅格化再作为条件,只能保留大致位置,元素归属、遮挡关系和重新组合所需的结构都会丢失。 训练数据由多智能体流程合成,共 23,960 条配对信息图记录,每条都带结构矢量、无文字目标、逐层的完整与可见掩码、绘制顺序以及层级与重叠图。

文字节点完全不进入扩散过程,生成后由保留的矢量元数据直接渲染,因此改文案、改字体或换语言不需要再跑一次扩散。 端到端的栅格生成器每次改字、改字体或改语言都必须重绘文字,字形由数据驱动,可能偏向训练中占主导的语言习惯。 同一组生成图层上,文字以四种语言渲染,替换的只是文字节点的属性,图像层保持不变。

启示与展望

这一表示面向需要反复修改和复用的教学图件创作流程:文字、版式与图层身份在生成后仍然可寻址,因此改文案、换语言、移动或隐藏图层、复用插图、指定动画轨迹以及把同一内容排到幻灯片、海报和移动端版式上,都只改动结构元数据而不重新生成图像层。它要求输入是一份有效的源矢量结构,输出才具备这些性质。

方法依赖有效的源矢量,并会继承其内容、版式与训练数据中的错误和偏差。确定性排版保留给定文字,但不保证事实正确、无障碍或文化上合适的本地化;改变遮挡或绘制顺序的编辑可能影响到非预期的区域。作者也指出,推广到更多版式以及改进遮挡变化下的变换仍是待研究的方向。