跳到主要内容
返回时间线
arXiv来源发表:

两个冻结专家拼出全身手势:CFGComposer补上被丢掉的跨模态项,语义召回率0.9916

核心概要

语音驱动全身手势的生成不再只靠一个在稀缺三模态数据上训练的联合网络。此前把音频与文本两个独立扩散专家的预测线性相加,等于默认两者在给定含噪动作时条件独立,从而丢掉了跨模态依赖项。CFGComposer 用一个联合训练的模型估计这一项,并以分类器无关引导的形式在推理时注入;在 BEAT 上语义召回率 SRGR 达到 0.9916,节拍对齐 BA 为 0.1826,接近真值的 0.1743。

Source-provided article image: CFGComposer: Compositional Audio-Text-to-Motion Generation via Copula Score Correction
arXiv

深度剖析

全身手势生成现在可以把两个各自训练好的单模态扩散模型在推理时组合起来,而不必在标注稀缺的三模态数据上从头训练一个联合网络。 此前的组合做法是把音频到动作与文本到动作两个专家的噪声预测按权重线性相加,这一做法默认音频与文本在给定含噪动作时条件独立。 在 BEAT 上,这一组合方式配合修正项后语义召回率 SRGR 为 0.9916、FID 为 27.18,节拍对齐 BA 为 0.1826,而真值的 BA 为 0.1743。

被线性相加丢掉的正是音频与文本之间的跨模态依赖,它无法由任何一个单模态专家单独表示。 从联合对数密度的得分分解可以写出精确的联合得分,等于两个边缘得分之和再加上一个 copula 得分,即描述跨模态依赖的项。 线性相加相当于把这一项置零,因此相对真实联合预测存在固定偏差;当修正权重取零时方法退化为该基线,取一时等价于单独使用联合训练模型。

修正项通过一个联合训练的扩散模型来估计,该模型同时接收音频与文本条件。 联合模型学到的是双条件预测,线性相加基线近似的是边缘条件之和,两者在噪声预测空间中的差就构成引导方向。 这一差值与标准分类器无关引导形式相同,乘以可调权重后作为残差注入每一步去噪,代价是每步多一次并行前向计算。

启示与展望

演示范围是 BEAT 数据集上的全身手势生成,以及搭载 BrainCo 灵巧手的 Unitree G1 人形机器人上的实机部署;部署时每个 5 秒片段在单张 RTX 4090 上完成一次反向扩散,序列以 60 Hz 流式送入上身 PD 控制器,下肢平衡由机器人自身的运动策略负责。

当前系统使用一条全局手势描述控制全身,作者把身体部位级的空间条件列为后续方向;把组合分解扩展到音频、文本、说话人身份、情绪等三个以上条件,也需要借助层级容斥,尚未实现。