人形智能体不再只靠动作轨迹反应:MixReact把文本、音频、视频统一接入物理仿真闭环
核心概要
人形智能体的反应生成此前多依赖对方的三维动作轨迹,且只做运动学生成,容易出现穿地、脚滑和悬空。MixReact把文本、音频、视频三类线索统一映射为语义记忆,用离散分支先选定整段反应、连续分支再逐窗预测状态,并由历史感知动作Transformer在物理仿真中闭环执行。在视频线索的ViMo测试上,其FID比NOUS++低17.5%、滑步误差低34.2%;音频线索下漂浮误差比ReactMotion++低40.9%。
深度剖析
人形智能体现在可以只凭一段文字、一段音频或一段视频做出反应,并在物理仿真中把反应执行出来,而不需要先拿到交互对象的三维动作轨迹。 此前的反应生成方法大多以对方身体轨迹为条件,把交互限制在人与人之间,并默认对方的三维动作是干净的;HERO、NOUS、ReactMotion等虽把条件扩展到视频、文本和音频,但只做运动学生成,没有物理约束。 在视频线索数据集ViMo上,MixReact的FID比NOUS++低17.5%、滑步误差低34.2%;在音频线索下,漂浮误差比ReactMotion++低40.9%。
做法是把“选哪种反应”和“怎么把反应做细”拆给两个分支:离散分支一次性采样出整段反应的状态词元,作为贯穿始终的行为上下文;连续分支在这个上下文和实际执行历史的条件下,直接预测未来的连续状态。 纯连续建模在一对多的线索到反应映射下可能把不同反应模式混成平均动作,纯离散词元建模则因量化重建误差损失接触与平衡所需的细节;MixReact用单向混合注意力让离散上下文以停止梯度的方式指导连续去噪,避免连续分支反过来扰动全局行为结构。 预测出的下一状态与观测到的执行历史一起送入历史感知动作Transformer,后者经DAgger式在线蒸馏从PHC教师策略学得,把状态映射为可执行动作,仿真器反馈再更新执行历史,形成闭环。
消融实验把两个分支和单向注意力的作用分开检验:去掉离散分支后音频线索的多模态性下降38.4%,去掉连续分支后视频线索的FID上升20.1%,把单向注意力换成双向注意力则在三种模态上都提高了FID和抖动。 这些变体与完整模型使用相同的数据划分、模态特征和冻结的动作控制器,因此差异可归到被移除的组件上。 20名参与者的用户研究给完整模型的评分为文本4.22、音频4.13、视频4.17,去掉离散分支后总体评分从3.60降到2.07。
启示与展望
演示范围是Isaac Gym中一个24关节、69个执行器的人形,在ReactMotionNet的文本与音频线索和ViMo的视频线索上生成反应并闭环执行;每次反应只由单一模态线索驱动。
当前生成不显式建模人形与线索中实体之间的空间关系和接触要求,例如狗的视频引出的抚摸动作并不考虑动物的相对位置;真实人形部署还面临感知不确定性和仿真与真实动力学差异。联合使用三种模态受限于缺少同步多模态标注的数据集。
