医疗检索的稠密向量被拆成可读特征:在CURE上稀疏编码反超原始嵌入,跨语料解释仍能预测激活
核心概要
医疗检索系统通常把查询和文档压成稠密向量,匹配结果难以解释。这项研究在稠密嵌入上训练稀疏自编码器,并加入InfoNCE对比损失以保留查询—文档相关性,在CURE上使三种嵌入模型的NDCG@10都高于原始嵌入。只用CURE文本构建的神经元解释,在五个域外语料上仍能正向预测神经元是否激活,概念级解释优于直接展示样例片段。
深度剖析
医疗检索的稠密嵌入可以被展开成一组稀疏、可单独解读的特征,检索结果因此能追溯到具体概念。 此前的医疗检索嵌入模型基本是黑箱,已有对通用检索嵌入的稀疏自编码器解释工作没有针对医疗检索,也没有考察解释能否迁移到新语料。 在CURE测试集上,三种嵌入模型的稀疏编码NDCG@10都高于各自的原始嵌入,例如BGE从53.06升到k=256时的60.50,Gemini从52.77升到59.85,MedEmbed从52.46升到59.21。
稀疏自编码器把每个查询或文档嵌入映射到一个更高维、每次只有少数神经元激活的表示,再用这些稀疏向量的余弦相似度排序文档。 训练目标由重建损失和InfoNCE对比损失加权组成,后者直接利用数据集的查询—文档相关性标签,把查询的稀疏向量拉近其正例文档、推远不相关文档。 实验覆盖三个嵌入模型和六个医疗检索数据集,训练只用CURE,另外五个数据集作为域外测试;每个配置用三个随机种子并报告置信区间。
神经元的含义可以用自然语言描述,而且这种描述在训练语料之外仍有预测力。 解释由TF-IDF关键词或Interpreter LLM生成,再交给激活预测LLM判断某段文本会不会触发该神经元,并与真实激活情况做相关。 只用CURE构建的解释在五个域外数据集上都得到正相关,BGE稀疏自编码器上Interpreter LLM解释的Pearson相关系数从CURE的0.440降到Biology的0.226,仍高于样例片段解释的0.142。
启示与展望
演示范围是三个嵌入模型在CURE上训练、在CURE及NFCorpus、MIRIAD和R2MED三个子集上评测的检索与解释结果;人工评估由五名医学专家对随机抽取的30个神经元、每个15段正例和15段负例文本打分。
人工标注规模仍然很小;可解释性评测依赖LLM,可能存在偏差或校准误差,作者用多个LLM部分对冲;稀疏表示受容量限制,并非在所有数据集上都达到稠密检索的水平,且在CURE上微调的模型在域外常常低于原始嵌入。
