两个冻结专家拼出全身手势:CFGComposer补上被丢掉的跨模态项,语义召回率0.9916
语音驱动全身手势的生成不再只靠一个在稀缺三模态数据上训练的联合网络。此前把音频与文本两个独立扩散专家的预测线性相加,等于默认两者在给定含噪动作时条件独立,从而丢掉了跨模态依赖项。CFGComposer 用一个联合训练的模型估计这一项,并以分类器无关引导的形式在推理时注入;在 BEAT 上语义召回率 SRGR 达到 0.9916,节拍对齐 BA 为 0.1826,接近真值的 0.1743。
语音驱动全身手势的生成不再只靠一个在稀缺三模态数据上训练的联合网络。此前把音频与文本两个独立扩散专家的预测线性相加,等于默认两者在给定含噪动作时条件独立,从而丢掉了跨模态依赖项。CFGComposer 用一个联合训练的模型估计这一项,并以分类器无关引导的形式在推理时注入;在 BEAT 上语义召回率 SRGR 达到 0.9916,节拍对齐 BA 为 0.1826,接近真值的 0.1743。
已读完全部报道