跳到主要内容
返回时间线
arXiv来源发表:

7.6M参数土耳其语语音模型Antalia-2 Mini发布:训练音频全部来自一个约300倍大的教师模型

核心概要

Antalia-2 Mini 是一个 7,620,931 参数的单音色土耳其语文本转语音模型,训练音频全部由约 300 倍大的 VoxCPM2 克隆同一段合成参考音频生成,自动检查后保留约 1,790 小时。它在 Freya-TR-Eval 的 495 句上取得 WER 1.09%、CER 0.220%,配对自助法无法把它与 8.6M 的 EMA Lightning 区分开;作者在这些句子上调过设置,且尚无人工听测。

AI-generated editorial illustration: Antalia-2 Mini: A 7.6-million-parameter Turkish text-to-speech model trained entirely on synthetic speech

深度剖析

一个 7.62M 参数的单音色土耳其语模型能在 CPU 上以 41 倍实时合成 48 kHz 音频,默认权重 30.5 MB,可选 fp16 下载 15.3 MB。 此前跑过的两个小型开源土耳其语模型 Piper(dfki 音色,16M)和 MMS-TTS(36M)的 WER 分别为 3.41% 和 6.38%,而约 2.38B 的 Trendyol-TTS 为 1.16%。 在 Freya-TR-Eval 的 495 句、公开评测脚本上,1.0.1 版取得 WER 1.09% 和 CER 0.220%,配对 95% 自助法区间无法把它与 EMA Lightning 1.0.1 或教师模型(1 个种子)区分开。

模型只读字符,不做音素转换,47 个符号先经文本规范化器把数字、日期、缩写和英文词写成可读形式。 声学模型把字符映射为梅尔频谱,生成器用 shortcut 自一致性训练,可在 1 到 8 步内采样,声码器再一次把梅尔变成 48 kHz 波形。 默认设置下生成器承担 84.0% 的乘加运算,一句 5.11 秒的语音耗 14.49 GMAC;在 Apple M5 双线程上,前 100 句的中位实时率为 41 倍。

声码器在声学模型自己生成的梅尔上微调,而不是只在真实梅尔上训练。 只在真实梅尔上训练的声码器让 WER 停在 3.6% 以上,冻结声码器时 WER 维持在 3.63%–4.14%。 在 7 对相邻的预发布检查点、同一种子、4 步采样下,微调把 WER 均值从 3.89% 降到 1.75%,每对下降 1.66 到 2.63 个百分点,配对区间均不含 0。

启示与展望

演示范围是单音色、单风格、仅土耳其语的合成,评测限于 Freya-TR-Eval 的 495 句和作者自己的评测脚本;浏览器页面与签名的 Android 引擎只在模拟器上测过,没有在真实手机上测过速度。

作者明确说明没有人工听测,最终设置的数字因在同一批句子上调参而偏乐观,UTMOS 是英语训练的代理指标且两个模型音色不同;教师模型在 ö 开头词上的缺陷被学生学去,靠一段被剪掉的口头前缀掩盖而没有消除。