两条独立录制的台词合成一段对话:神经调度器只学时间,回接预测器决定插话位置
核心概要
游戏配音里,两位说话人的台词通常各自在录音棚单独录制,直接拼接后轮次切换生硬、缺少听者回接。这套流程先用回接预测器判断每句台词是否该有听者插话、属于哪一类,再由神经调度器联合安排两条声道的起始时刻,插入停顿与重叠。在 Fisher 语料上,调度器在四项轮次统计中多数比 Moshi、NTPP 等基线更接近真实对话;在 Full-Duplex Bench 上,回接频率为每秒 0.062 次,时间分布与真实回接的 JSD 为 0.644。
深度剖析
独立录制或语音合成的两条台词声道,可以被排成一段带停顿、重叠和听者回接的双人对话,且这些动态在推理时可直接调节。 此前这类台词按脚本单独录制,拼接后轮次听起来机械,缺少自然对话中的重叠与停顿,也缺少听者回接;回接有时单独录制后由动画师手工剪入,难以扩展到数万句台词。 在 Full-Duplex Bench 上,该系统回接频率为每秒 0.062 次,回接时间分布与真实回接的 JSD 为 0.644;作为对照,PersonaPlex 的频率为 0.025、JSD 为 0.649,Gemini 为 0.012 和 0.896。
系统把“说什么”和“什么时候说”拆开:内容由已有台词固定,模型只负责时间安排。 回接预测器是一个多模态分类器,输入目标台词前后的文本窗口和该句音频,输出三类判断:不需要回接、低显著度的应答、高显著度的反应;具体回接词句从使用者给定的候选池中选取或由 TTS 生成。 分类器在留出测试集上的二分类 AUC 为 0.80,高于 Wang 等人的 0.73 和 Lin 等人的 0.69;去掉音频后召回率从 0.49 降到 0.25。
神经调度器把台词排程写成下一 token 预测,用一个双声道交错输出的语音语言模型学习时间。 输入区只保留每句台词的语音 token 和轮次标记,不含时长信息;输出区按 12.5 Hz 帧对齐交错两条声道,用静音 token 表示停顿与重叠。 在 Fisher 语料上以 10 秒音频为提示续写对话,调度器四项轮次统计的累计时长偏差为 0.1、0.1、0.6、0.4 秒每分钟,NTPP 为 3.3、2.8、1.4、1.9,Moshi 在温度 1.0 时为 0.3、0.6、0.3、0.8。
启示与展望
演示范围是脚本顺序给定的独立台词片段,片段可来自配音演员录音或 TTS 合成,输出为双声道对话音频;回接词句取自使用者提供的候选池,系统不生成与上下文语义相关的回接内容。
三类回接细分中,Reactive 类的 AUC 为 0.76,低于二分类任务的 0.80,作者将其归因于样本较少(400 例)和语言、韵律变化更大。感知研究中,休闲对话场景下调度器相对固定 200 毫秒间隔基线的偏好处于随机水平,只有在戏剧性素材上偏好才显著。
