人转身之前先听见:空间音频流式生成人体反应,首响延迟从10.9秒压到约193毫秒
核心概要
人体对空间音频的反应不再需要等整段声音收完。此前的方法要在完整声学与空间输入上离线合成整段动作,无法对正在到来的声音作出因果反应。Sonic-AMG把声音内容与身体相对声源几何编码成两类独立标记,用因果Transformer配合流匹配头逐块生成连续动作潜变量,再由因果解码器还原动作片段;在SAM数据集上取得最优FID与R-precision,并支持实时在线生成。
深度剖析
人体动作可以随着空间音频的到达逐块生成,而不必先拿到完整的声音窗口。 此前的方法在预定义时间窗内、以完全观测到的声学与空间输入合成整段动作,因此无法对正在到来的音频流作出因果反应。 在SAM数据集上,Sonic-AMG在GT空间条件下取得最优FID 6.505与R-precision,在线条件下FID为8.066,仍保持较强的分布保真度与条件对齐。
模型把声音内容与声源相对身体的位置当作两种不同的条件分别编码,再让因果Transformer学习二者的交互。 把两类线索融合成单一条件表示时,它们可能互为噪声;分开编码后,声学分支可以专注于声音内容本身。 消融显示,分离的空间标记优于融合表示,80维log-mel声学特征也优于MOSPA的2272维音频特征。
训练时用短程自回归自滚动与全序列教师强制监督共同约束,并在训练和推理中都用生成出的根姿态重算身体相对声源坐标。 教师强制训练使用真实动作历史与预计算的空间条件,而流式推理依赖模型自己的预测,两者之间存在历史与空间条件两处不匹配。 排练训练在两种空间协议下都优于各档two-forward方案;仅用自滚动而缺少全序列监督会明显降低保真度与对齐。
启示与展望
主要实验假设推理时已知世界坐标下的声源位置,该位置可由数据集标注、上游声源定位模块或虚拟场景元数据提供。评测在SAM数据集上进行,模型在单个音频—动作片段上训练,却能跨内容与声源位置变化的连续声音事件生成连贯动作。无SSL变体展示了从双耳音频直接导出空间条件的可能,但作者把替代空间推断方法的系统评估列为后续工作。
作者指出,对更广泛声学环境与人体反应的泛化仍有待评估,长时程连贯性与事件切换的证据主要是定性的,未来需要建立面向更长音频流与更多样事件切换的定量基准。首响延迟估计把输入等待与稳态生成时间相加,不包含音频预处理与编码、初始化、渲染和输出交付。
