TRoPE给顶点查询补上网格连通性:最差顶点误差降39.4%,分离失败率从49.35%降到34.90%
核心概要
视频转4D网格的前馈模型常把空间上靠近、但沿网格表面相距很远的部位错误地连在一起运动,出现“粘连”伪影。TRoPE把参考网格的连通性写成顶点查询与运动来源之间的相对位置关系,用旋转相位调制注意力,并加入针对持续高误差顶点的尾部风险训练目标。在专门评测该失效模式的MeshSticking-4D上,相对Motion 3-to-4,最差顶点误差降低39.4%,分离失败率从49.35%降至34.90%。
深度剖析
视频转4D网格生成中,手贴住躯干、衣物黏在邻近肢体这类“粘连”伪影,被归因于跨部位运动泄漏:空间上靠近但沿网格表面相距很远的顶点,在运动解码时取到了相似的运动信息。 此前的做法是在顶点特征上做拓扑感知聚合,让每个顶点描述更丰富,但查询与运动来源之间的结构关系在运动检索时仍是隐含的。 在MeshSticking-4D的256个测试样本上,相对宿主模型Motion 3-to-4,最差顶点误差从285.420降到172.874,分离失败率从49.349%降到34.898%。
做法是给运动来源指定网格上的位置,再把查询与来源之间的连通性关系直接写进注意力打分。 具体而言,先在参考网格上采样锚点承载运动特征,再用图拉普拉斯导出的多尺度扩散特征计算查询与锚点之间的拓扑关系,并以旋转相位调制顶点—锚点注意力;训练时用顶点级CVaR目标加重持续高误差顶点。 在MeshSticking-4D上,该配置的平均欧氏误差为54.588,事件端点尾部误差EETE25从137.872降到98.191;在Motion-80上最差顶点误差从99.833降到91.244,但Chamfer距离从11.255升到12.238。
拓扑关系本身比空间距离更关键,且注入方式影响效果。 在关闭CVaR的对照中,绝对笛卡尔RoPE、拉普拉斯位置编码和绝对热核签名RoPE都与仅用内容的锚点注意力接近;欧氏相对RoPE也接近该对照,而测地相对RoPE带来改善。 同一对照下,TRoPE把最差顶点误差从191.074降到181.599、分离失败率从37.268%降到36.152%;把旋转调制换成可学习热核偏置时最差顶点误差为199.651。
启示与展望
评测覆盖MeshSticking-4D的256个测试样本、Motion-80的80条序列以及Motion324-Subset的128个测试样本,并在Mesh4D骨干上做了迁移实验;MeshSticking-4D由Mixamo角色与动画经合成渲染构建,训练与测试的角色身份和源动画身份互不重叠。
在严重自接触、遮挡或运动证据高度模糊时,拓扑关系无法完全区分运动来源,残余粘连仍可能出现;抑制跨部位泄漏也不保证局部形变准确,大幅肢体位移下仍可能给出错误轨迹。结构引导依赖参考网格中的有效关系,少于16个顶点的连通分量不获得谱特征,Motion-80和Motion324-Subset分别有22.2%和27.8%的接触—分离事件至少一个端点缺少有效谱支持。
