跳到主要内容
返回时间线
arXiv来源发表:

X射线高光谱分割改用持续同调:在UMAP超像素点云上取H1环,像素F1从0.8245升到0.8945

核心概要

多能X射线透射高光谱图像的分割此前依赖卷积网络提取局部光谱—空间特征,难以显式利用嵌入流形的几何结构。该工作把UMAP投影后每个超像素的光谱点云计算Vietoris–Rips持续同调,提取H1环状结构统计量,经图卷积网络处理后以广播方式回传到每个像素,与像素级CNN特征拼接分类。在香烟数据集上,广播融合的混合模型像素F1为0.8945、超像素F1为0.9329,高于仅用CNN的像素F1 0.8245。

AI-generated editorial illustration: Homology Features for X-Ray Hyperspectral Images Segmentation

深度剖析

多能X射线透射高光谱图像的分割现在可以显式使用光谱流形的拓扑结构,而不只依赖局部光谱—空间卷积特征。 此前的CNN基线只捕捉UMAP嵌入中的局部模式,不刻画光谱流形的全局结构;仅用CNN的像素级模型像素F1为0.8245,超像素级模型为0.8144。 在香烟数据集上,广播融合的混合模型取得像素F1 0.8945、超像素F1 0.9329,比最好的CNN基线分别高0.070和0.086;池化融合的混合模型也超过两个CNN变体,但超像素F1比广播低0.061。

做法是先把每个超像素的光谱点云变成一组拓扑统计量,再让图网络把这些区域级信息送回像素。 持续同调需要足够多的点才能形成稳定的拓扑结构,逐像素计算不可行,因此先在UMAP投影上做SLIC超像素分割,再对每个超像素的点云计算Vietoris–Rips持续同调。 每个超像素节点初始为60维向量,由30个候选拓扑描述子、25个光谱统计量和5个几何描述子组成;消融后图网络只保留11个H1统计量,与30个空间描述子组成41维节点特征,送入三层图卷积网络。

拓扑特征带来的增益在原始16波段光谱空间和5维UMAP空间中都出现,说明环状结构并非嵌入凭空造出。 在仅用图网络分支的消融中,原始高光谱上加入11个H1特征把目标类F1从0.685提高到0.764,UMAP空间上则从0.778提高到0.823。 同一消融显示,把拓扑特征从11个扩到19个或30个,原始高光谱上的F1反而降到0.752和0.725;只用30个拓扑特征时F1仅0.283,因为持续同调对超像素内像素置换不变,丢弃了绝对光谱强度与空间坐标。

启示与展望

演示范围限于香烟数据集的多能X射线透射图像块,任务是区分香烟与行李背景的二分类分割,评价指标为像素级和超像素级的准确率与F1。

持续同调对超像素内像素置换不变,因此单独使用时丢弃绝对光谱强度和空间坐标,30个拓扑特征的F1只有0.283;11个H1特征的子集是在关闭CNN分支的消融中选出的,扩展到19或30个特征反而降低F1。