推理分割不再靠整条轨迹打分:HISD用目标提示做词元级信用分配,推理长度缩短八成以上
核心概要
推理分割要让模型在相似物体中认出查询所指的目标,但整条回答共享一个奖励,无法指出哪些词元真正提供了判别证据。Hint-Informed Self-Distillation(HISD)在训练时由外部模型离线生成结构化Segment Hint,用带提示的教师模型对学生的轨迹逐词元打分,只调整正优势的幅度。在统一训练协议下,HISD在ReasonSeg测试集上比复现的DPAD把gIoU和cIoU分别提高3.00和3.55个百分点,并在五个评测划分上把有效推理跨度平均缩短80.17–91.83%。
深度剖析
推理分割的训练信号从整条回答一个分数,细化到每个词元按目标判别证据调整更新幅度。 此前的DPAD用锚定描述与目标区域、整幅图像的对比构造二值奖励,信用仍落在整条回答上;OPSD一类自蒸馏则沿学生轨迹提供教师分布监督。 在相同骨干Qwen2.5-VL-7B-Instruct、相同3000条RefCOCOg训练样本、训练一个epoch的统一协议下,HISD在ReasonSeg测试集上比复现的DPAD把gIoU和cIoU分别提高3.00和3.55个百分点。
做法是让教师在训练时看到目标提示,学生只看图像和查询,推理时不需要提示也不需要教师。 Segment Hint由外部模型从训练图像、查询和标注框离线生成,组织目标身份、可区分属性、易混物体和从锚点到目标的路径,每个样本只生成一次并作为固定教师上下文。 教师是学生参数的指数滑动平均,在教师Top-k词元与采样词元组成的支撑集上计算教师与学生的证据比,经对称裁剪后只放大正优势;在ReasonSeg测试、验证和RefCOCO三个划分共五个划分上,HISD的推理词元均值为5.66–15.34个,低于SegZero和DPAD。
启示与展望
演示范围是Qwen2.5-VL-7B-Instruct作为可训练策略、冻结SAM2-Large作为分割模块、3000条RefCOCOg样本训练一个epoch,并在ReasonSeg与RefCOCO系列五个划分上评测;作者指出单个提示字段的独立作用,以及向其他生成器、模型规模和数据域的泛化仍待评估。
作者说明单个提示字段的独立贡献尚未评估,向其他提示生成器、模型规模和數據域的泛化也仍待检验;RefCOCO系列上的增益小于ReasonSeg,作者推测与指代表达简短直接、目标判别需求较低有关。
