跳到主要内容
检索

# 稀疏自编码器

19 篇关联报道

订阅更新
  1. arXiv

    医疗检索的稠密向量被拆成可读特征:在CURE上稀疏编码反超原始嵌入,跨语料解释仍能预测激活

    医疗检索系统通常把查询和文档压成稠密向量,匹配结果难以解释。这项研究在稠密嵌入上训练稀疏自编码器,并加入InfoNCE对比损失以保留查询—文档相关性,在CURE上使三种嵌入模型的NDCG@10都高于原始嵌入。只用CURE文本构建的神经元解释,在五个域外语料上仍能正向预测神经元是否激活,概念级解释优于直接展示样例片段。

  2. arXiv

    近分布外检测不再另起炉灶:PLUS给18个现成检测器补上类内子空间信号,126个组合全部提升

    近分布外(near-OOD)样本与训练类在特征上高度相似,现有事后检测器擅长远分布外却在此处失效。PLUS不替换检测器,而是用稀疏自编码器为每个类别挑出最活跃神经元、张成低维子空间,再以该类别的白化马氏距离给出补充分数,按单一固定权重与任意已校准基础分数相加。在ImageNet-1K的OpenOOD v1.5基准上,18个检测器与7种骨干的全部126个组合近分布外AUROC均提升,远分布外大体保持,仅在基础分数已接近饱和处出现不超过1个点的回落。

  3. bioRxiv

    ProteinMPNN的隐空间被拆成可读维度:二级结构、残基体积与血红素配位各自成轴,拨动支链氨基酸轴可改变抗体片段序列

    稀疏自编码器把ProteinMPNN编码器每层128维的稠密隐空间扩展成过完备稀疏空间,使单个维度与二级结构、残基体积、残基形状、二硫键及配体配位等蛋白特征出现相关。在Brolucizumab短链可变片段上,调高与支链氨基酸相关维度的mod=0、0.5、1三个候选在433 K分子动力学模拟中的RMSD低于原始序列、ProteinMPNN序列和GeoEvoBuilder序列,而调高幅度最大的mod=2在该温度下明显去折叠;未做激活调整的mod=0同样改善,说明稀疏自编码器本身也改变了预测。

  4. arXiv

    可解释性结论何时可信:特征维度会跳变,岭正则版本在12个玩具模型上给出同一判定

    机制可解释性常靠带阈值的数字支撑安全结论,而权重、随机种子或阈值的微小变化就可能让结论翻转。这项工作在已知真实特征的玩具模型与合成字典上刻画了特征维度不连续的确切位置,并用岭正则版本替换它,证明其稳定性常数随特征尺度增长且系数最优。在12个训练好的玩具模型上,岭正则求和规则在预先设定的21个平滑参数取值上给出同一判定,而忽略短特征向量的版本对其中两个模型给出相反判定。

  5. arXiv

    Glyph把临床基础模型的隐向量拆成可读概念:在腹部CT队列里找到397个可复现的预后标记

    Glyph把临床基础模型的高维嵌入拆成稀疏、可命名的概念,让这些原本纠缠在一起的特征能像临床变量一样被检验。研究在41,628名患者的腹部CT、影像报告和化验数据上测试了604,185个概念—结局配对,得到397个高风险概念和4,463个Bonferroni显著关联。多数关联在三个留出队列中无需重新校准即可复现,且前十概念在合并留出队列中的复现率高于文献检索得到的标记。

  6. arXiv

    地球嵌入不再是一团混在一起的维度:稀疏自编码器拆出可命名的地理特征,但随机字典也能拿到部分分数

    地球观测基础模型(如 AlphaEarth、Tessera)把每个 10 米像素压成一个稠密向量,其中单个维度往往混合多种地表概念。稀疏自编码器把这种向量展开到过完备字典上,只让少数原子激活,从而得到近似单义的稀疏特征。在匹配稀疏度下,三种稀疏自编码器变体的重建都优于主成分分析、独立成分分析、非负矩阵分解和原始维度;但一个解码器冻结为随机字典的对照同样表现出特征更专一、空间尺度更细,说明这两点来自稀疏性本身,只有学习到的字典才把 AlphaEarth 的未解释方差降到八分之一。

  7. 大脑体素不再只配一个语义单元:SAIL把多层稀疏特征合到一起,冗余更低、语义对齐更高

    多模态大模型与人脑视觉表征的相似度此前只能说明两者“像”,说不清像在哪些语义上。SAIL把体素解释改写为体素与多个稀疏语义单元之间的对应问题:先在多模态大模型多层表征上联合训练跨层稀疏自编码器,再为每个体素匹配多个单元,并用最优传输比较双方最偏好图像集合的语义相似度。在自然场景数据集八名被试上,跨层联合训练相比逐层独立训练降低了单元响应冗余,并在全皮层与选择性感兴趣区都取得更高的语义相似度。

  8. arXiv

    两个SAE潜变量何时算同一特征:一张能量加权传输计划同时给出字典差异与逐潜变量分摊

    比较两个稀疏自编码器(SAE,把模型激活拆成稀疏学习分量的字典)时,需要同时回答整本字典差多少、差在哪些潜变量、以及多少来自有限文档的抽样波动。这套方法用一张能量加权的最优传输计划把三者连起来:计划的总代价是字典级差异,代价可按潜变量精确分解,传输比例描述每个潜变量的激活能量如何分配到对方潜变量上,并给出联合渐近置信区间。在四个语言模型上,它定位了同数据不同随机种子训练出的SAE之间的差异,并把主题相关的改变拆成权重项与代价矩阵项。

  9. arXiv

    MoE专家不再按领域标签归类:SAE把贡献拆到特征层,Java与前端各占专家

    字节跳动Seed与上海财经大学的研究者在Qwen3-30B-A3B的第4、30、46层MoE输出上各训练一个稀疏自编码器(SAE,把层输出重建为一组稀疏可解释特征的字典),利用编码器对专家输出的仿射性,把每个特征的激活精确拆成各专家的贡献。按语料平均后,每个专家得到一组它主要驱动的特征;这些特征多数只有一到两个主导专家,且专家分工细到Java与前端网页代码、几何与算术多项式这样的子领域。

  10. arXiv

    稀疏自编码器引导改用信息论设计:DESSIRT在Llama与Gemma多数提问模式上胜过对比式基线

    稀疏自编码器(SAE)引导此前多靠对比激活统计挑选特征,而特征可解释性与引导效用并不必然一致。DESSIRT把每个数据集表示为SAE特征点火概率向量,用Jensen–Shannon散度衡量干预后分布与目标分布的偏离,并据此解析地构造引导向量。在七类提问模式生成任务中,Llama 3.1-8B-Instruct上DESSIRT-2在除M2外的模式上优于SDCV基线,Gemma-2-9B-IT上多数模式也更好。