阿里PURE把身份匹配拆成14项诊断:十个多模态模型总分47.1%到86.0%,判规则最弱
阿里团队发布PURE,一个面向多粒度多模态身份匹配的诊断基准,用1457道选择题覆盖感知、理解、推理、判断四个维度共14项任务。题目取自真实电商记录对,并经两位领域专家逐题核验。十个近期多模态大模型的总分落在47.1%到86.0%之间,理解维度平均最高、判断维度最低,说明只看最终匹配准确率会掩盖模型究竟卡在证据解读还是规则应用上。
阿里团队发布PURE,一个面向多粒度多模态身份匹配的诊断基准,用1457道选择题覆盖感知、理解、推理、判断四个维度共14项任务。题目取自真实电商记录对,并经两位领域专家逐题核验。十个近期多模态大模型的总分落在47.1%到86.0%之间,理解维度平均最高、判断维度最低,说明只看最终匹配准确率会掩盖模型究竟卡在证据解读还是规则应用上。
已读完全部报道