拓扑增强的语音信号处理机器学习方法
该工作提出 TopCap 与 TopNN 两种方法,用时间延迟嵌入与持续同调从语音时间序列中提取拓扑特征(如最大持续度及其出生时间),在浊辅音与清辅音二分类任务上,TopCap 在小型数据集上取得与部分先进神经网络相当的准确率并具备更高效率与可解释性,而将拓扑特征与门控循环单元拼接的 TopNN 在多个数据集及不同信噪比噪声条件下比标准神经网络取得更高准确率、更稳定表现与更强抗噪能力。
该工作提出 TopCap 与 TopNN 两种方法,用时间延迟嵌入与持续同调从语音时间序列中提取拓扑特征(如最大持续度及其出生时间),在浊辅音与清辅音二分类任务上,TopCap 在小型数据集上取得与部分先进神经网络相当的准确率并具备更高效率与可解释性,而将拓扑特征与门控循环单元拼接的 TopNN 在多个数据集及不同信噪比噪声条件下比标准神经网络取得更高准确率、更稳定表现与更强抗噪能力。
该工作把通用视频世界模型V-JEPA 2在约62小时无标注声道实时MRI视频上继续自监督预训练,得到冻结的Arti-JEPA编码器,并在音素预测、口吃流畅/不流畅分类与舌切除术前术后迁移三类任务上评估,发现时间视频先验明显优于逐帧图像编码器、潜空间预测至少不弱于像素重建、域适配对跨域音素预测约翻倍Cohen's κ但对二分类口吃检测帮助有限,且术后音素信号仍可部分解码。
已读完全部报道