Prism 砍掉多尺度融合与重型检测头,在 HierText 上把段落 PQ 从 55.2 提到 66.8
核心概要
分层文本检测要同时定位词、行、段落并还原它们的包含关系,以往靠多尺度特征融合、重型检测头和可学习的关系模块堆出精度,推理效率因此偏低。Prism 只用骨干网络单一尺度特征图上的并行轻量检测头分别预测词、行、段落,再用最小外接框的几何包含计算自下而上拼出层级。在 HierText 测试集上,它的词、行、段落 PQ 分别为 75.8、71.1、66.8,对应比 OmniParser V2 高 14.2、6.6、11.6 点;在 CTW1500 上以 65.1 FPS 运行,快于 LRANet。
深度剖析
分层文本检测可以不再依赖多尺度融合颈和重型检测头,只保留一个预训练充分的骨干网络加若干并行轻量检测头,就能同时输出词、行、段落三个粒度。 此前的做法走“结构堆叠”路线:用特征金字塔一类多尺度融合颈处理尺度变化,用高分辨率或并行的重型检测头做像素级预测,再额外加关系推理模块解析词到行、行到段落的包含关系。 在 HierText 测试集上,Prism 的词、行、段落 PQ 分别为 75.8、71.1、66.8,同一张表里 OmniParser V2 对应为 61.6、64.5、55.2。
三个粒度的预测共用骨干网络同一张单尺度特征图,各自由一个轻量检测头负责,层级关系则交给几何计算而不是学习模块。 具体做法是取骨干网络 16 倍下采样那一级特征图作为唯一输入,把词、行、段落检测拆成并行的独立检测头,再用最小外接框之间的集合交并比按词到行、行到段落两步做自下而上的归属判定。 在 HierText 上,这种框级几何解析耗时 1.2 毫秒,而多边形级精确求交为 32.4 毫秒,行 PQ 只从 71.3 降到 71.1。
轻量检测头的四种候选形态里,像素级回归在精度和速度上最划算,被选作默认配置。 对照的另外三种是查询级回归、像素级分割和查询级分割,它们分别对应 DETR 式、DB 式和 MaskFormer 式的主流检测范式。 在 HierText 上,像素级回归头的词、行、段落 PQ 为 75.8、71.1、66.8,检测头耗时 16.1 毫秒;查询级分割头对应为 65.7、60.5、55.4,耗时 27.2 毫秒。
启示与展望
演示范围是公开基准上的分层与单粒度场景文本检测:HierText 用于词、行、段落三层评测,CTW1500、Total-Text、MSRA-TD500、ArT 用于单粒度评测,推理在单张 NVIDIA RTX 3090 上完成。默认配置为截断到 C4 阶段的 ResNet50-DCN 骨干加像素级回归头,输入短边在 HierText 上取 2048。作者提出,这一极简结构可作为面向大型视觉语言模型的可插拔检测扩展,但这属于展望而非已验证结果。
极简结构成立的前提是预训练充分:从零训练时 Prism 在 F-measure 上落后 LRANet,差距随预训练数据增加而缩小,在端到端联合训练下反超;换到 ViT 骨干时,ViT-T 上明显落后,ViT-B 上才追平或略超。骨干规模也有类似门槛,ResNet18 与 ResNet50 上落后,ResNet50-DCN 上才与 LRANet 相当,继续加到 ResNet101-DCN 收益可忽略。代码尚未发布。
