只看AUROC会选错预警探针:Prewarn按起始点计分,两个模型多数循环能在起始前报警
语言模型失败常从某个 token 开始,但常用的响应级 AUROC 只看整条回答是否失败,不看报警发生在何时。Prewarn 先在验证集上按应用允许的错误率固定阈值,再相对标注的起始点分别评分类、检测与预警三项任务。在重复退化案例中,只按长度打分的规则 AUROC 接近满分却永远无法预警;冻结探针在 Apertus 与 Llama 上对多数退化回答在起始前报警,在 Mistral 上则多在起始后报警。
语言模型失败常从某个 token 开始,但常用的响应级 AUROC 只看整条回答是否失败,不看报警发生在何时。Prewarn 先在验证集上按应用允许的错误率固定阈值,再相对标注的起始点分别评分类、检测与预警三项任务。在重复退化案例中,只按长度打分的规则 AUROC 接近满分却永远无法预警;冻结探针在 Apertus 与 Llama 上对多数退化回答在起始前报警,在 Mistral 上则多在起始后报警。
RGB-X跟踪把可见光帧与热红外、深度或事件数据配对,但配对标注远少于RGB预训练数据,因此通常只微调少量参数。以往的双向跨模态修正把两个方向并排计算,都读取未修正的输入状态,后一次修正无法利用前一次的结果。CCLT在冻结骨干的第6和第10个Transformer块插入低秩交换模块,让一个方向先修正、另一方向再读取刚被修正的状态,并以参数量匹配的并行版本作对照:在LasHeR上平均SR提高1.980点,95%区间为[0.360,2.690],可训练参数为196.6K,占92.7M参数跟踪器的0.212%。
低秩适配(LoRA)把权重更新拆成两个小矩阵相乘,但两者范数在训练中常相差悬殊,造成梯度流不平衡和训练不稳定。SingLoRA把更新改写为单个低秩矩阵乘自身转置,从构造上消除矩阵间尺度冲突,并把可训练参数减少约一半。在MNLI上微调LLaMA-7B时,SingLoRA取得91.3%准确率,高于LoRA的89.1%和LoRA+的90.2%,而只用了它们60%的参数预算。
病理基础模型在H&E图像上做单细胞空间基因表达预测时,冻结的图块级嵌入迁移效果很差:在5K基因面板上,平均逐基因皮尔逊相关系数从伪点级的0.375降到单细胞级的0.065。一组面向单细胞的轻量适配——细胞局部token池化、40倍视野输入、泊松计数监督和LoRA微调——把同一面板的相关系数提升到0.174,并在5K面板上以0.800的AUROC超过SpatialEx的0.642。提升主要来自空间可变基因和疾病相关基因,全面板的绝对相关仍偏低。
香港城市大学等团队发布TriStageHLA,把HLA-I表位发现拆成肽段初筛、等位基因特异结合预测和免疫原性预测三个串联模块。在留出的免疫原性数据上,免疫原性模块AUROC为81.4%、AUPRC为73.8%,高于ImmuneApp的70.7%/63.6%和BigMHC-IM的60.1%/51.5%;结合模块在BA/EL合并评估上AUROC为96.2%、AUPRC为95.2%。在30万条人蛋白组背景肽的模拟筛选中,初筛保留82.4%的真实候选肽并丢弃87%的背景肽。
大模型量化通常给整层统一比特宽度,忽略了同一层内不同权重块对量化噪声的敏感度差异。A2BQ用FP16模型在WikiText-2校准集上的后softmax注意力方差给每个128行权重块打分,在5.7比特平均预算下分配4/6/8比特,再按层敏感度与分配精度设定qLoRA+的LoRA秩。在TinyLlama-1.1B上,注意力范围、首尾各保护三层的配置取得7.884的测试困惑度与73.11 tokens/s解码吞吐,但运行时显存仍接近FP16,因为参考实现先把量化权重反量化成浮点缓冲再计算。
BYOD给出一种只训练LoRA适配器的自回归到扩散语言模型转换方法:冻结全部基座参数,把每层因果注意力换成双向注意力,用掩码扩散目标在单张Google Colab GPU上训练最多102.4M token、3.1–4.0小时,即把Gemma 2 9B、Llama 3.1 8B、Qwen2.5 7B和Ministral 8B转成可从全掩码序列生成的扩散模型,适配器占最终参数4.1–5.8%。九项任务上最强的BYOD-Gemma平均准确率50.6%,同一评测框架下LLaDA 8B Instruct为51.9%;低NFE预算下的开放生成质量仍是主要短板。
分布式楼宇能源管理依赖负荷预测,但联邦预测通常只报误差、不检验它支持的调度决策。UtilityGossip在每个节点保留私有与协作两个低秩适配器,只有本地留出数据上的随机四折交叉验证显示误差显著下降时才接纳邻居适配器。在Electricity基准上,无条件联邦使均方误差比本地训练高3%以上,而该门控方法避免了这一退化;在Solar-Energy的96步预测上,其均方误差比本地训练低1.59%,通信量为FedAvg的一半。
工具型语言模型智能体常对同一有害请求的一种措辞拒答、对另一种措辞照做,而漏掉的拒答会变成真实动作。研究在Llama-3.2-1B-Instruct上用LoRA微调,训练数据不取自AgentHarm,并把潜归因正则化(LAR)与仅做同义改写的对照在三个随机种子上比较。在无害工具任务上把过度拒答对齐到10%后,LAR把同一任务内拒答不一致的比例从25%降到19%,把改写引起的决策翻转率从11.3%降到9.3%,而有害与无害的区分能力没有显著变化。
患者安全推理需要把临床叙述、用药、检验与不良事件之间的关系连起来,单靠大语言模型容易给出看似合理却缺乏依据的结论。同一批 MIMIC-III/IV 病例在相同 LLaMA 2 7B 与提示下被分别置于四种条件:纯模型、加检索增强生成、加患者安全知识图谱与本体、两者兼有。完整框架在概念抽取上达到 F1 0.89,相对基线提升 0.046;消融中移除知识图谱的降幅最大,F1 差 0.047、AUROC 差 0.084、AUPRC 差 0.110,而移除检索增强的 F1 差 0.029,其置信区间跨过零。