日文多音字不再靠猜:Irodori-Ruby-OPD 用纯文本蒸馏把原始文本读音准确率提到 97.13%
核心概要
日文语音合成长期在两条路之间取舍:走音素前端能控制读音,却丢掉汉字字形里的语义与韵律线索;直接读原始文本更自然,却容易在多音字上读错。Irodori-Ruby-OPD 在流匹配语音合成模型上分两步走,先用带注音标注的 Ruby 文本并扰动字形训练出可控制读音的教师模型,再用纯文本语料做同策略蒸馏,把读音知识迁移到无标注文本输入。在 Joyo-Kanji-Yomi 基准上,它以原始文本输入取得 97.13% 的读音准确率、2.02% 的目标 PER 和 0.70% 的句子 PER,同时保留 Ruby 注音控制能力。
深度剖析
日文语音合成现在可以在只输入原始汉字文本时把读音准确率做到 97.13%,同时仍接受 Ruby 注音标注来指定读音。 此前的分步式系统靠前端把文本转成音素序列来保证读音,代价是丢掉字形中的词汇语义和韵律线索;直接读原始文本的零样本模型则会出现多音字错误,也缺少显式的读音控制手段。 在覆盖 2,136 个常用汉字及其 4,512 个官方读音的 Joyo-Kanji-Yomi 基准上,Irodori-Ruby-OPD 以原始文本输入取得 97.13% 准确率、2.02% 目标 PER、0.70% 句子 PER 和 4.21% 句子 CER,而作为其起点的 Irodori-Base 为 94.11% 准确率、4.68% 目标 PER、0.97% 句子 PER。
读音控制通过把注音直接写进文本实现:汉字字形与目标读音在同一个输入单元里同时出现,模型据此按标注发音。 注音有两种线性化写法,隐式 Ruby 把读音放在括号里跟在词后,显式 Ruby 用边界标记同时圈定目标跨度和读音,后者消除了非切分文本中注音范围左边界不清的歧义。 在目标词与整句两种标注范围下,显式 Ruby 在 SFT 与 OPD 两个模型上都优于隐式 Ruby;整句显式标注时 OPD 模型取得 98.24% 准确率、1.15% 目标 PER 和 0.42% 句子 PER。
无标注文本上的读音提升来自同策略蒸馏:冻结的教师模型看完整 Ruby 文本,学生模型只看原始文本,学生从纯高斯噪声出发自行积分出中间状态,再被要求匹配教师在该时刻的速度场。 推理时外接一个字形到音素模块,或离线合成多音字语音对,都需要额外流水线组件或昂贵的离线合成步骤;同策略蒸馏只用文本与读音配对数据,不需要平行音频。 训练时以一定概率混入 SFT 阶段的有声数据以锚定音质与 Ruby 控制力,蒸馏后模型在四种 Ruby 控制模式下都超过仅做 SFT 的版本,语音质量与说话人相似度与教师模型相当。
启示与展望
评测限定在日文 Joyo-Kanji-Yomi 基准上,覆盖 2,136 个常用汉字及其 4,512 个官方读音;推理时参考音频从 JVS 语料的 100 名说话人中随机抽取。语音质量与说话人相似度用 UTMOSv2、DNSMOS、CAM++ 和 ERes2Net 四项客观指标衡量,而非听感评测。
仅用 Emilia 日文子集做 SFT 时,模型在原始文本上的准确率与目标 PER 相比 Irodori-Base 略有下降,报告将其归因于 SFT 语料规模有限、录音质量一般以及容量被用于学习 Ruby 条件。蒸馏后的语音质量与说话人相似度与教师模型持平,并未提升。
