三维荧光显微分割不再只给体素掩膜:Nagini3D把每个细胞写成一张参数曲面,边界IoU反超StarDist3D
核心概要
三维荧光显微图像里的细胞分割长期在两条路之间取舍:深度学习效率高但只输出离散体素掩膜,主动曲面能给出连续形状却难以处理多目标。Nagini3D把两者接在一起,用一个三维U-Net同时预测目标位置和一组样条曲面参数,每个目标由一张闭合光滑的参数曲面表示。在含非星凸物体的合成集CAPS上,加细化步骤的Nagini3D+平均IoU为0.859,高于StarDist3D的0.779;在真实BONES集上两者接近,但Nagini3D推理最快,平均4.75秒。
深度剖析
三维荧光显微图像的分割结果现在可以是一张连续曲面,而不只是一份离散体素掩膜,分割完的细胞能直接读出曲率和形变模式。 此前的三维分割方法以体素为单位输出掩膜,形状分析通常要在分割之后另接一套耗时且工具各异的中间步骤。 在CAPS数据集的一个体数据上,预测曲面上的平均局部曲率被直接显示出来,凸区与凹区可据此区分;在CREST的斑马鱼神经嵴细胞上,对曲面参数做的主成分分析给出的第一主方向对应细胞伸长,与细胞在狭窄通道中受约束而拉长的情形一致。
网络一次前向就同时给出目标位置和描述该目标的曲面参数,因此多目标分割与形状表示合并成一步。 主动曲面方法过去多用于单目标分割,且需要逐目标迭代优化;纯深度学习路线则只给体素标签,不携带连续形状。 训练时把预测曲面采样成点云,与由真值掩膜生成的点云用切片Wasserstein距离比对,并加上惩罚曲面导数的正则项以抑制自交;推理时取分数图局部极大值定位目标,再在该位置生成曲面,可选地用基于图像梯度的能量泛函逐个细化。
曲面表示让分割结果可以只存位置和形状参数,而不必保存整份体素掩膜。 体素掩膜随图像增大而迅速变重,大图的一份掩膜可达数百兆字节。 BONES数据集中较大图像的一份分割掩膜为90MB,而只存曲面位置与参数为0.2MB;参数数量取M=18时模型已达性能阈值,增到M=30时Nagini3D+的质量不再提升。
启示与展望
报告的范围限于三维荧光显微图像中的多目标分割与形状分析,评估覆盖合成的CAPS、真实的BONES与CREST三套数据,指标为检测召回率与精确率、IoU、边界IoU以及平均推理时间。方法面向球拓扑的闭合曲面,作者指出对非常细长的物体形状模型会吃力,可能需要改用管状参数曲面。训练按体数据块进行,显存需求随数据集在40至80GB之间,推理则可在普通笔记本上完成。作者提到未来可探索把形状先验加入细化或训练损失,以及把曲面表示用于跟踪和形变估计。
作者报告的主要限制是形状模型对非常细长的物体表现吃力,需要大量控制点才能刻画,替代方案是管状参数曲面。训练需要较高显存,取决于数据集在40至80GB之间,需要在批大小、块大小与曲面参数数量之间取舍。在密集且对比度低的区域,逐个曲面的细化可能反而破坏可靠预测,因此细化强度按邻域密度和对比度自动调节。在CREST上,训练用真值掩膜有时向内偏移若干体素,细化步骤能纠正这类偏差,但这一行为是在该数据集上观察到的。
