人体动作表征不再靠人工设定掩码:BAL在潜空间双向自回归,AMD长期预测误差降到90.5毫米
核心概要
从3D姿态序列自学人体动作语义,长期依赖人工设定的增强强度或掩码尺度来定义监督信号。BAL把姿态序列切成固定时长片段、每段压成一个潜变量,再沿时间正反两个方向自回归预测这些潜变量,让日常行为的先后顺序本身成为监督。在AMD、Nymeria、Embody 3D混合预训练后冻结表征,BAL在多数指标上优于掩码建模与对比学习基线,AMD长期预测的MPJPE为90.5毫米。
深度剖析
人体动作表征的自监督信号可以来自行为本身的先后顺序,而不必由人工设定的增强强度或掩码尺度决定。 此前的对比学习方法要求表征对手工增强保持不变,掩码方法要求被遮区域能在选定时间尺度上由上下文恢复,表征因此对这些选择敏感,换任务常需重新调参。 在AMD、Nymeria、Embody 3D混合数据上预训练并冻结表征后,BAL在动作描述、长期预测与长期插值三类任务的大多数指标上优于A4Mer、PUMPS、USDRL、BehaveMAE、MotionBERT与MacDiff;AMD长期预测的MPJPE为90.5毫米,对比方法中最低为136.1毫米。
做法是把姿态序列切成固定时长片段,每段压成一个潜变量,再让模型沿时间正反两个方向预测相邻片段的潜变量。 直接在姿态空间预测未来帧时,短期关节轨迹的平滑就足以压低损失,表征容易停留在局部运动学上;预测更远的姿态又因同一动作在不同人、场景和风格下姿态不同而存在歧义。 预训练使用AMD约14.2小时、Nymeria约300小时、Embody 3D约500小时的日常活动数据,输入降采样到5帧每秒、序列最长30秒,片段长度固定为4秒;下游任务中表征提取器保持冻结,只训练任务头。
预测目标被拆成整段序列的全局分量与各片段相对均值的局部分量,分别预测,以避免表征塌缩。 直接最小化潜空间预测损失会把表征推向塌缩:提取器输出高度相似,预测器只需输出近似常数即可降低损失,形成自我强化的循环。 在只用完整预训练十分之一步数的对照中,去掉该分解或改用SIGReg时,L2归一化表征的特征标准差持续偏低、训练损失很小;该分解在整个预训练过程中维持明显更高的多样性,下游表现也更好。
启示与展望
评测覆盖AMD、Nymeria、Embody 3D三个日常活动数据集:长期预测与4至12秒区间插值在三个数据集上评测,动作描述只在提供文本标注的Embody 3D与Nymeria上训练和评测;表征提取器在下游任务中冻结,只训练任务头,结论限于3D姿态序列输入与日常活动场景。
全局平移对齐实验显示,基线在预测与插值上的较大误差部分来自全局平移编码较弱,但对齐后BAL仍在多数设置上领先,且该方法依赖推理时不可得的真值姿态,因此原始误差仍是实际性能的度量。片段长度存在温和的任务依赖:较短片段更利于预测与插值,较长片段更利于描述。
