时尚检索评测不再逐条人工判定:FASHION-RQ从商品目录的层级编码生成查询与分级相关性
核心概要
时尚检索的开放式查询往往对应多个有效商品,而人工分级集合标注昂贵且绑定单一目录快照。FASHION-RQ把RQ-VAE学到的语义ID前缀当作自动标注结构,前缀定义相关性集合、共享前缀长度给出分级相关性,再由语言模型把簇属性写成购物式查询,在Myntra公开目录上构建出含588个簇、5380条查询的FASHION-RQBENCH。未微调的检索模型在该基准上暴露出聚合排序分数掩盖的差异:Qwen3-Embedding-4B在排序、相关性分类和改写鲁棒性三项居首,兄弟簇区分则由SPLADE++领先。
深度剖析
时尚检索的评测标签现在可以直接从商品目录的层级编码里读出来,不再需要人工逐条判定查询与商品的相关性。 此前的时尚检索数据集通常把一条查询只对应一个目标商品,其他同样有效的商品被当作错误;ESCI这类分级集合标注虽可行,却要为13万条查询付出260万条人工判断,而且标签绑定在特定目录快照和查询分布上。 在Myntra Fashion Product Images公开目录上,这套流程产出588个基准簇(三个层级分别为17、135、436个)和5380条属性增强查询,其中5305条为唯一查询串,相关性由语义ID结构确定性继承而非人工或语言模型打分。
层级来自残差量化自编码器学到的语义ID:商品被编码成一串由粗到细的离散码,共享同一前缀的商品构成一个语义簇。 原始RQ-VAE并不保证一个码对应单一语义属性,可能产生混杂簇,因此训练目标里加入属性排他性损失,让每个量化层级专门对应一类属性。 排他性监督按层级分别使用masterCategory、articleType以及以articleType为锚的颜色、性别、用途、季节、年龄段、价格档和时尚类型联合属性;随后按articleType纯度过滤掉过小或过杂的簇,再比较每个簇与父簇、兄弟簇的属性差异,差异达到20个百分点以上才作为排他约束。
查询由语言模型根据簇的属性分布和它与父簇、兄弟簇的差异写成购物者口吻的句子,但语言模型只负责措辞,不决定相关性。 此前的合成查询方法多以单个文档为条件生成,通常只继承一个正例目标;这里以整个簇为条件,簇本身就是一个多商品相关性集合。 32名参与者的用户研究给FASHION-RQBENCH查询的自然度为3.62、意图清晰度为3.91,真实用户查询分别为3.52和2.83,无条件的语言模型查询为2.84和3.76;意图清晰度上各来源两两差异均统计显著,自然度则与真实用户查询相当。
基准把评测拆成排序、层级相关性分类、兄弟簇区分和查询改写鲁棒性四项任务,并补充按属性加权的查询相关性分数和逐属性分数。 单一的聚合排序分数会掩盖差异:两个系统可以有相近的nDCG,却一个找对衣服错了颜色、另一个找对颜色错了衣服。 在未微调的现成检索模型中,Qwen3-Embedding-4B在排序上取得nDCG@10为0.8719、Recall@10为0.8279,在四类相关性分类上准确率0.5145、宏F1为0.5146,改写一致性@10为0.8373;兄弟簇区分的最佳nDCG@3为SPLADE++的0.6662;属性层面产品类型和性别得分高,材质和风格明显偏低。
启示与展望
演示范围是Myntra Fashion Product Images公开目录上的构建与评测:588个簇、5380条查询,覆盖四个任务,现成检索模型均未在基准上微调。作者把后续工作列为人工验证、更广领域与属性、更丰富的语义关系以及自适应基准生成。
作者说明该方法依赖目录质量、底层多模态表示和语言模型生成的查询,可能引入覆盖与语言偏差;自动推导的相关性结构是对人工判断的近似而非替代。附录的码本规模消融还显示,码本从64增大到256时簇被切得越来越碎,最粗层平均簇规模从823.9件降到166.5件,因此需要在语义纯度与簇密度之间取折中。正文与附录对参与评测的检索模型数量表述不一致,一处称十个现成模型,另一处称12个基线。
