检测框按尺寸与贴边分层检验:PLUM免训练识别未知物体,PASCAL-VOC上AUROC达91.5
核心概要
目标检测器遇到训练类别之外的物体时仍会画框并给出高置信度类别,PLUM把每个检测框的判定改写为假设检验,只把该框与同尺寸、同贴边状态的已知类框比较。它读取检测器最后一个主干阶段在框内池化的特征,计算到已知类统计量的距离,无需训练、外部模型或额外前向。在PASCAL-VOC与BDD100K基准上,PLUM在四种已知/未知数据组合中AUROC均为最高,分别为91.5、94.5、95.1和97.5。
深度剖析
未知物体检测的判定从整张图像或单一阈值,改为对每个检测框单独做假设检验,原假设是该框覆盖一个已知类物体。 此前这类分数大多在基准的全部检测上汇总,用同一个零分布给所有框排序,而检测器输出的分数会随框的大小和是否接触图像边界而变化。 在PASCAL-VOC上,把零分布从全框共用改为按尺寸分层后,AUROC从74.2升到91.8;再加上贴边状态并拟合对数面积趋势线,得到93.0,FPR95为36.7。
检验读取检测器最后一个主干阶段在框内池化的特征,并把它归一化为单位长度后计算到最近已知类均值的马氏距离。 特征金字塔和框头只为已知类训练,没有理由保留区分未知物体的信息,因此检验读它们之前的层。 在Faster R-CNN上逐层比较,res5在四种已知/未知组合中分层后的AUROC与FPR95都最好;越过任务边界后,分层距离的AUROC明显下降,例如PASCAL-VOC上fc1为60.2、fc2为65.0,而res5为93.0。
启示与展望
演示范围是PASCAL-VOC与BDD100K作为已知数据、MS-COCO与OpenImages作为未知数据的标准检测基准,主检测器为ResNet-50的Faster R-CNN,Deformable DETR的结果放在补充材料。PLUM保持检测结果不变,因此已知类检测精度就是检测器本身的48.55和31.24 COCO风格AP。
误报率界要求参考框与测试框可交换,而PLUM的参考框取自训练图像,并把同一图像内的框当作独立。以OpenImages为未知数据、PASCAL-VOC为已知数据时,背景框上的AUROC达到73.5,说明PLUM在无物体处也部分区分了这些图像。
