跳到主要内容
检索

# 离散-连续Transformer混合架构

1 篇关联报道

订阅更新
  1. arXiv

    人形智能体不再只靠动作轨迹反应:MixReact把文本、音频、视频统一接入物理仿真闭环

    人形智能体的反应生成此前多依赖对方的三维动作轨迹,且只做运动学生成,容易出现穿地、脚滑和悬空。MixReact把文本、音频、视频三类线索统一映射为语义记忆,用离散分支先选定整段反应、连续分支再逐窗预测状态,并由历史感知动作Transformer在物理仿真中闭环执行。在视频线索的ViMo测试上,其FID比NOUS++低17.5%、滑步误差低34.2%;音频线索下漂浮误差比ReactMotion++低40.9%。

已读完全部报道