超声超分辨不再靠语义标签猜退化:DAP-MR把退化类型与强度拆开,跨解剖域更稳
核心概要
面向超声超分辨的扩散模型常借用自然图像的文字提示,但自动生成的语义标签与真实复原需求对不上,医学描述又容易被通用文本编码器误读。DAP-MR把退化类型与退化强度拆成两路:每种退化由一个CLIP初始化的专用词元表示,再由一个路由器预测连续强度来调制该词元。在四个扩散超分辨骨干上,DAP-MR在解剖域偏移的BUSI集上对全部四个骨干同时提升PSNR与SSIM,在两组无配对真实超声数据上八个骨干—数据集组合的Dice全部上升。
深度剖析
超声超分辨模型现在可以按“存在哪种退化”和“退化有多强”两个独立信号来引导复原,而不必把两者塞进同一句文字提示。 此前把自然图像超分辨的提示策略直接搬到超声上时,退化感知提示提取器生成的标签主要描述通用视觉属性,与待复原的超声结构或退化关系不大,相对无文本基线只带来有限变化;医学描述在对比中也给出较难预测的复原引导。 在四个扩散超分辨骨干上,DAP-MR在解剖域偏移的BUSI集上对全部四个骨干同时提升PSNR与SSIM,而在同域Cardiac集上16项PSNR与SSIM比较中改善15项,SeeSR的PSNR略有下降。
做法是让语言只负责说明“要处理哪种退化”,强度则由一个连续数值单独给出。 每种退化对应一个专用词元,由面向退化的CLIP提示的上下文EOS表示初始化,并在超声超分辨训练中继续调整;一个独立路由器从冻结VAE编码的潜表示回归出随输入变化的连续强度,用来调制对应词元。 路由器先在带已知连续强度标签的合成退化超声图上预训练,训练数据仅来自Cardiac训练集;超分辨训练中先使用真实强度标签,再按计划切换到路由器预测,以贴近盲推理时的条件。
训练还额外构造两种监督,让模型真正用上强度信号和退化身份。 只用干净高分辨目标做全量复原监督时,骨干可以主要依赖视觉特征和自身先验,缺少使用退化词元条件的动力。 部分剂量监督只把输入退化强度的一部分作为控制量,目标保留剩余退化;失配特异性监督激活一个与输入退化不匹配的词元,并以退化输入本身为目标,抑制跨退化响应。
启示与展望
评测覆盖EchoNet来源的1417帧超声心动图(按患者8:2划分训练与测试)、768张BUSI乳腺超声图像,以及未参与训练也未做合成退化的CAMUS-Poor 232张低质量超声心动图和HMC-QU 473张临床超声图像;配对合成评测用PSNR、SSIM、LPIPS,无配对真实数据用冻结SAMUS分割模型的Dice。
同域Cardiac上的提升被描述为相对温和且偶有混合,SeeSR的PSNR略有下降;LPIPS只在八个骨干—数据集比较中的四个改善,可能反映骨干相关的取舍以及自然图像预训练感知特征向超声迁移有限。路由器在BUSI上仍保持较高的退化存在判别AUROC,但强度估计的平均绝对误差上升,尤其对衰减,预测偏保守并倾向低估较强退化,绝对强度标定对域偏移敏感。作者也说明强度值是连续条件变量,而非退化去除的精确百分比,更强控制不必然带来更好复原。
