跳到主要内容
返回时间线
arXiv来源发表:

喉部病变分类不再只看外观:PADSNet并入声带振动波形,F1比最强视频基线高约0.20

核心概要

喉镜图像中高危、低危与正常组织的静态外观常常重叠,而声带振动的对称性、闭合与周期性差异可能更具判别力。PADSNet把视频外观特征与从声门分割掩膜提取的声门距离波形并列建模,并用9维生物力学指标门控重标定视觉特征。在397例患者、按患者分层划分的三分类临床视频数据上,PADSNet取得0.8452准确率和0.8089的F1,高于所比较视频模型中最好的InternVideo2的0.6084。

Source-provided article image: PADSNet: Physics-Aware Dual-Stream Network with Biomechanical Priors for Laryngeal Lesion Classification
Fig. 1 · arXiv · 第 2 页

深度剖析

喉部病变分类多了一条来自声带振动的证据通道,而不只是静态外观。 此前的深度视频模型主要依赖视觉与时空表征,没有显式纳入双侧对称、声门闭合、周期性与振动稳定性这类临床可解释的生物力学信息。 在397例患者的三分类喉镜视频数据上,PADSNet的F1为0.8089,所比较视频模型中最高的是InternVideo2的0.6084,Video Swin Transformer与V-JEPA2的F1分别为0.5284和0.5993。

两路信号先按频率拆开再交互,最后由生物力学指标决定哪些特征被放大。 视觉流用Video Swin Transformer提取时空外观特征,生物力学流用双向LSTM建模由分割掩膜得到的左右声门距离序列。 小波注意力增强模块用离散小波变换把两路特征分成低频趋势与高频细节,在同频带内做交叉注意力后再逆变换重建;物理感知门控模块把运动度、间隙、对称性与频域共9维指标经多层感知机映射为通道门,对特征做残差式重标定。

启示与展望

结论建立在西安交通大学第二附属医院单中心回顾性收集的397例患者喉镜视频上,标签经术后病理确认,按患者分层划分为80%训练与20%测试;作者指出仍需外部多中心验证以评估跨设备、跨采集协议与跨人群的稳健性。

作者报告部分误分类出现在相邻类别静态外观与声门波形都高度相似的边界病例;生理遮挡会使声门边界无法可靠分割、对应声门距离被置零,从而削弱生物力学特征;当前双变量声门距离波形与9个标量先验主要描述整体双侧运动,可能不足以刻画空间局部的黏膜波传播。