跳到主要内容
返回时间线
arXiv来源发表:

语音伪造检测不再只看相邻帧:GraphSeal 用谱相似长程连边,把 ASVspoof 5 等错误率压到 8.17%

核心概要

语音深度伪造检测器通常把整段语音当作一帧帧的平铺序列,难以捕捉时间上相隔很远、但频谱上相似的伪造痕迹。GraphSeal 把语音切成短片段作为图节点,用时间相邻和频谱相似两类边连成动态图,再通过图注意力在节点间传递伪造线索,最后汇总成整句判断。在冻结的自监督语音编码器之上,它只增加 2.1M 可训练参数,在 ASVspoof 2019 LA、ASVspoof 2021 LA、ASVspoof 5 和 In-the-Wild 上的等错误率分别为 0.52%、2.41%、8.17% 和 5.24%。

Source-provided article image: GraphSeal: Graph-Augmented Speech Deepfake Detection via Temporal-Spectral Artifact Propagation
Fig. 1 · arXiv · 第 3 页

深度剖析

语音伪造检测的建模单元从整段平铺序列改成按语音片段构建的动态图,图上的连接同时来自时间相邻和频谱相似,因此模型可以直接比较时间上相隔很远、频谱却相近的区域。 此前的检测器要么把整句当作单一序列处理,要么使用由特征提取流程决定的固定图拓扑,无法针对每条输入调整结构,也难以利用数据相关的相似性。 在 ASVspoof 2021 LA 上,完整图结构的等错误率为 2.41%,去掉频谱边后升到 3.12%,去掉时间边后升到 3.97%,说明两类连接各自提供互补信息。

伪造线索在图上通过带边属性的图注意力逐层传播,每个节点在几跳之后不仅包含自身频谱内容,也汇集了时间邻域和频谱邻域中观察到的异常模式。 此前的自监督检测后端多为线性探针、注意力池化或浅层多层网络,逐帧独立处理,不建模不同时间位置之间的关系。 在冻结的 WavLM-Large 前端上,GraphSeal 在 ASVspoof 2021 LA 和 In-the-Wild 上分别取得 2.41% 和 5.24% 的等错误率,同一前端下 WavLM-AASIST 为 2.85% 和 6.31%。

整句判断由分层读出完成,均值池化与学习到的注意力权重共同把可变大小的图压缩成固定长度的语句级向量,再经两层多层感知机输出真伪二分类。 把分层读出换成单纯均值池化后,ASVspoof 2021 LA 的等错误率从 2.41% 升到 2.71%,说明注意力加权让模型能聚焦伪造痕迹集中的节点。 整个图模块在冻结编码器之上只增加 2.1M 参数,在单块 A100 上每条语句带来 12 ms 延迟,其中图构建占 3 ms、三层图注意力占 9 ms。

启示与展望

演示范围是训练于 ASVspoof 2019 LA 训练集、在 ASVspoof 2019 LA、ASVspoof 2021 LA、ASVspoof 5 和 In-the-Wild 四个测试集上评估的离线整句检测,波形统一截断或补齐到 4 秒,前端编码器权重保持冻结。

作者指出两类失败模式:带有停顿和非语言发声的不规则韵律会被误判为合成痕迹,而频谱高度均匀的神经编解码攻击会让频谱边失去区分度、图退化为近似完全图。流式图构建用于无界音频仍是工程挑战,作者也把结合循环式潜在推理、更强前端表示和隐私保护检测列为待探索方向。