人转身之前先听见:空间音频流式生成人体反应,首响延迟从10.9秒压到约193毫秒
人体对空间音频的反应不再需要等整段声音收完。此前的方法要在完整声学与空间输入上离线合成整段动作,无法对正在到来的声音作出因果反应。Sonic-AMG把声音内容与身体相对声源几何编码成两类独立标记,用因果Transformer配合流匹配头逐块生成连续动作潜变量,再由因果解码器还原动作片段;在SAM数据集上取得最优FID与R-precision,并支持实时在线生成。
人体对空间音频的反应不再需要等整段声音收完。此前的方法要在完整声学与空间输入上离线合成整段动作,无法对正在到来的声音作出因果反应。Sonic-AMG把声音内容与身体相对声源几何编码成两类独立标记,用因果Transformer配合流匹配头逐块生成连续动作潜变量,再由因果解码器还原动作片段;在SAM数据集上取得最优FID与R-precision,并支持实时在线生成。
已读完全部报道