目标数据集不再需要人工标注:SAM、CLIP与大视觉语言模型协作,COCO零样本检测达60.8 AP
目标数据集上的人工标注被一条自动流程替代:SAM生成分割候选,CLIP做快速预筛与标签匹配,大视觉语言模型只对聚类中心图像给出语义标签,再用这些伪标签训练开放集检测器并迭代精修。在COCO val2017与LVIS minival的零样本设定下,YOLO骨干版本分别达到60.8 AP和47.4 AP,Swin-T骨干版本为57.2 AP和46.2 AP,说明增益并非只来自检测骨干。
目标数据集上的人工标注被一条自动流程替代:SAM生成分割候选,CLIP做快速预筛与标签匹配,大视觉语言模型只对聚类中心图像给出语义标签,再用这些伪标签训练开放集检测器并迭代精修。在COCO val2017与LVIS minival的零样本设定下,YOLO骨干版本分别达到60.8 AP和47.4 AP,Swin-T骨干版本为57.2 AP和46.2 AP,说明增益并非只来自检测骨干。
密集小目标检测里,动态查询此前把“解码多少查询”和“保留哪些查询”混在一起,难以判断收益来源。BUTR把动态查询还原为按目标密度分配解码器查询预算:用编码器提案置信度之和作为密度代理,经线性映射得到每张图的查询数,仍沿用标准Top-k初始化,不增加学习模块或启发式筛选。在AI-TOD-v2上,BUTR-L取得35.7 AP、平均316个查询,同规模D-FINE-L为35.2 AP、600个查询。
公开道路缺陷数据集BharatPotHole的发布划分存在训练—测试重叠:38.8%的测试图像在训练集中有近重复,99.4%的测试图像来自训练用过的视频。按视频去重重新划分后,同一YOLO26n检测器在正样本测试图像上的AP50从发布测试集的0.619降到无近重复子集的0.467,配对差0.152(95%置信区间0.090–0.234)。在受控污染试验中,把未见测试图像换成训练帧副本可把视频隔离模型的AP50从0.133抬到0.494,而换成未见帧副本时仍接近0.15。
可见光与红外图像各自成像机制不同,直接拼接或一次性注意力融合容易把背景纹理和热干扰当成互补证据。FCI-DETR把检测流程拆成融合前保留模态结构、融合中校准跨模态响应、融合后按尺度注入红外上下文三个相连阶段,在M3FD、DroneVehicle、VEDAI和FLIR四个公开数据集上分别取得88.6%、84.3%、86.7%和81.5%的mAP50。在M3FD固定协议下,完整模型比同骨干的RGB+IR RT-DETR基线高6.0个百分点。
在测试与评估中,若测试集缺少夜间这类关键语义条件,模型选型会被误导;一套生成式流程用视觉语言模型找出缺失语义、用扩散模型把白天图改造成夜间图补进测试集,使选型结论与完整覆盖的数据集一致。
作者提出 BRAHMa:把 Galaxy Zoo 3D 志愿者棒掩膜在经 Hoyle 目录校准的阈值下转成旋转矩形标签,用逐星系对比度增强的 DESI Legacy 图像微调 YOLO11x 定向框检测器,在 3150 个 Hoyle 星系上经线性校正后棒长平均绝对误差 1.14 kpc、Pearson 0.91,接近两套人工目录自身 0.99 kpc 的差异水平,且推理时无需掩膜、阈值或拟合。
OpenBox 提出一个两阶段自动标注流程:第一阶段借助二维视觉基础模型,通过跨模态实例对齐把二维图像中的实例级线索与对应三维点云关联起来;第二阶段按刚性与运动状态对实例分类,并用类别特定的尺寸统计生成自适应三维包围框,从而在无需自训练的情况下产出高质量三维框标注,并在 Waymo Open Dataset、Lyft Level 5 Perception 数据集和 nuScenes 数据集上相对基线取得精度与效率的提升。
该工作提出 TAPe+ML v3:以 TAPe(主动感知理论)结构化表示替代原始像素张量,配合背景、指针、原型聚类等子模型与协调器,在不到 10 万参数下于 COCO 检测取得 84.7 mAP50 与 65.3 mAP50-95、COCO 实例分割取得 80.7 mask mAP50 与 58.4 mask mAP50-95,ImageNet-1k Top-1 为 88.1%、ImageNet-Real 为 89.9%,Imagenette 上相同训练条件下 TAPe 输入达 92% 而原始像素基线为 47%,并在矿石堵塞工业试点中显示骨干适配比仅调头部更有效。
该初步研究在2023年5月至2024年12月间从日本冈山、广岛、香川三县10家医疗机构就诊的蜱叮咬患者处采集蜱虫,并补充野生蜱图像,构建了包含目标检测与属级分类的两阶段AI流程,其中YOLO类检测模型在3258张公开标注图像上训练后达到mAP@0.5为0.954,ResNet50在533张覆盖四个属的蜱图像上取得平均验证准确率95%,并将系统整合为带地理空间可视化的原型智能手机应用,用于辅助临床风险评估与公共卫生监测。
该工作提出 LOCUS-Diff 生成式框架,通过甲状腺超声合成基础模型、结节空间控制分支与 COMB 标签校正机制,在 TN5000 与 TN3k 数据集上生成经资深临床专家视觉图灵测试认可的高质量合成样本,并在下游结节检测任务中持续优于现有最优方法,且用仅含 60% 真实数据的训练子集加合成样本即可获得高于全量真实数据训练的 mAP。
已读完全部报道