Liquid AI 自研音频编解码器 LiquidCodec:约7400万参数,解码速度远超同类
核心概要
Liquid AI 为新一代端侧音频模型自研了流式音频编解码器 LiquidCodec,约7400万参数,在保持与同规模编解码器相当的音频重建质量与压缩率的同时,在语音生成和 token 到波形解码速度上超过对手。它用分组有限标量量化替代此前 Mimi 采用的残差向量量化,使多个码本可以并行预测;在单线程 CPU 上,编码与解码分别达到约361倍和87倍实时。
深度剖析
Liquid AI 发布了自研流式音频编解码器 LiquidCodec,用于其 LFM3-Audio-2B 与 LFM3-Omni-2B 端侧多模态模型,把语音转成语言模型可预测的 token 再还原为音频。 此前的 LFM2-Audio-1.5B 使用第三方编解码器 Mimi,其 token 质量和底层架构决策都受制于外部;在 LFM2.5-Audio-1.5B 上只替换解码器就获得了8倍更快的解码。 在 LibriSpeech test-clean、Seed-TTS 英语与普通话以及 FLEURS 德、法、中、日、韩共八个测试集上,LiquidCodec 取得最高的 ViSQOL 感知音质和最低的 mel 距离,其余指标保持竞争力。
编解码器沿用编码、量化、解码的标准流程,编码器与解码器完全对称且编码器为因果结构,直接预测频谱系数,从而省去同类编解码器解码时用学习到的转置卷积逐步上采样的昂贵操作。 量化环节改用分组有限标量量化:每个特征维度独立取固定档位的值,分组后每组产生一个 token,码本之间不像残差向量量化那样存在强顺序依赖。 训练分两阶段:先在107种语言、26.4万小时数据上用波形与频谱损失预训练且不加对抗损失,再在5.5万小时、原生采样率不低于24 kHz的干净全频带语音上用对抗判别器微调,并做仅解码器的量化感知训练。
启示与展望
演示范围是语音编解码与零样本多语言 TTS:重建评测覆盖 LibriSpeech test-clean、Seed-TTS 英语与普通话及 FLEURS 五种语言,速度在 Apple M4 Max 上以 FP32 单线程 CPU 推理测得。
预训练阶段仅用波形与频谱损失会留下“金属感”伪影,作者推测是感知细节被平均化所致,并在第二阶段用对抗判别器消除;量化后重建质量略有下降,但 ViSQOL 与 mel 距离仍领先外部编解码器。
