人体动作预测不再一次学完:CPC分段训练让PGBIG在3DPW平均误差从53.8降到44.7毫米
核心概要
人体动作预测模型通常把近未来与远未来放在同一阶段训练,远未来预测空间大、不确定性高,会压制短期预测的学习。CPC与CPC++把未来序列切成若干段,按阶段逐步加入更远的预测任务,并用可学习的先验补偿因子估计多阶段训练中丢失的早期知识。以PGBIG为骨干时,CPC在Human3.6M、CMU-MoCap和3DPW三个基准上分别把平均MPJPE降到52.9、35.4和44.7毫米,对应基线为54.4、36.4和53.8毫米。
深度剖析
人体动作预测的训练过程被拆成多个阶段,模型先学会预测近未来,再逐步把更远的未来片段纳入训练。 此前的做法把不同时间点的预测当作一个任务,用单阶段训练同时学习短期与长期预测。 在Human3.6M、CMU-MoCap和3DPW三个基准上,以PGBIG为骨干,CPC把平均MPJPE从基线的54.4、36.4、53.8分别降到52.9、35.4、44.7毫米,CPC++在Human3.6M上进一步降到52.7毫米。
每个阶段结束后,模型参数里保存的早期知识会在后续阶段被逐渐冲掉,补偿因子就是为这部分损失显式记账。 CPC用一个可学习的随机变量PCF概括此前所有子任务的先验遗忘,CPC++则改用细粒度先验补偿因子FGPCF,为每个子任务单独估计遗忘程度。 FGPCF由先验损失估计模块给出,该模块先用多头自注意力在各任务的时间步之间交互特征,再按任务做最大池化并经多层感知机与sigmoid映射,输出0到1之间的遗忘估计。
补偿因子与模型参数一起训练,靠的是最小化目标函数的一个上界,而不是直接优化原目标。 直接确定补偿因子的取值很困难,推导出的上界把补偿因子变成控制各任务损失权重的系数。 在Human3.6M上以PGBIG为骨干,不用PCF时任务1的预测误差增加0.83,用PCF后只增加0.27,用FGPCF后只增加0.14。
启示与展望
演示范围限于Human3.6M、CMU-MoCap和3DPW三个三维人体姿态基准,骨干为LTD、MotionMixer、siMLPe和PGBIG,输入10帧、预测25帧或30帧,评价指标为MPJPE。方法只用于训练阶段,推理过程与基线模型相同。作者把推广到更一般的预测任务和骨干模型列为后续工作。
补偿因子上界的推导依赖一个置信度假设,作者在Human3.6M上统计到97.8%的样本满足该条件,不满足的样本其目标与上界之差仍在合理范围内。在3DPW上CPC++与CPC表现相当,作者归因于该数据集较小、动作更复杂,参数更多的模型难以学到更细的FGPCF。任务数从3增加到5或8时平均误差基本持平。
