阿里PURE把身份匹配拆成14项诊断:十个多模态模型总分47.1%到86.0%,判规则最弱
核心概要
阿里团队发布PURE,一个面向多粒度多模态身份匹配的诊断基准,用1457道选择题覆盖感知、理解、推理、判断四个维度共14项任务。题目取自真实电商记录对,并经两位领域专家逐题核验。十个近期多模态大模型的总分落在47.1%到86.0%之间,理解维度平均最高、判断维度最低,说明只看最终匹配准确率会掩盖模型究竟卡在证据解读还是规则应用上。
深度剖析
身份匹配的答案取决于目标粒度,同一对商品记录可以在基础层匹配而在变体层不匹配,而单一的最终匹配准确率无法区分模型在哪一步出错。 此前的多模态基准或只评视觉比较,或把身份匹配当作电商任务之一,没有在基础层与变体层两套嵌套判据下分别评估支撑匹配的各项能力。 PURE把匹配拆成感知、理解、推理、判断四个维度共14项任务,题目来自真实电商记录对,十个多模态大模型的总分跨度为47.1%到86.0%。
模型在抽取和解释属性上相对可靠,在定位视觉差异和套用变体层规则上明显吃力。 理解维度是每个受评模型的最强项,判断维度对多数模型最弱,文本核心属性抽取与属性等价两项普遍得分高,视觉差异定位与变体层规则判断则不稳定。 在十个模型的维度得分上,理解维度平均最高、判断维度最低;Qwen3.5系列从9B到397B-A17B的总分在47.1%到59.2%之间,规模带来的增益更多出现在感知与理解,而非推理与判断。
多模态证据总体有帮助,但文本证据也会诱导模型把与身份无关的表述差异当成冲突。 在跨商品属性冲突检测任务上,去掉图片使十个模型平均准确率下降8.8个百分点,去掉标题反而使其上升2.7个百分点,十个模型中有六个如此。 在基础层规则判断任务上,去掉图片使平均准确率下降17.5个百分点,去掉标题使其上升8.2个百分点,这一模式在全部十个模型上成立;按正确答案分组后,去掉标题在正确答案为“无适用规则”时把平均准确率从48.3%提高到71.7%。
直接匹配时,模型在基础层更擅长认出匹配对,在变体层则反过来更擅长认出不匹配对。 十个模型在基础层与变体层的召回偏向方向相反,平均召回差从基础层的+17.2个百分点变为变体层的−15.4个百分点。 直接匹配评测集包含330对基础层记录对与211对变体层记录对,两类样本数量均衡;PURE总分与直接匹配的平衡准确率之间的Spearman秩相关系数为0.952。
启示与展望
PURE只评估生成式多模态大模型的显式作答,不直接刻画基于嵌入的检索或端到端匹配系统;题目实例化自特定电商场景的商品记录,包含图片、标题与所选变体的属性描述。
源池取自嵌入匹配器与生成式多模态模型同时判错的困难样本,可能继承这两种机制的覆盖偏差;跨平台、跨语言、跨品类以及非电商身份领域的泛化性仍待确立。
