跳到主要内容
检索

# 知识蒸馏

52 篇关联报道

订阅更新
  1. arXiv

    视觉token剪枝后答案没变,概率却偏了:DiFiT把响应分布也纳入选择目标

    多模态大模型的视觉token剪枝通常只看答案是否仍然正确,但剪枝会在贪心答案不变的情况下改变各候选回答的概率。DiFiT把全token模型的响应分布和参考答案一起作为监督信号,学习保留哪些视觉token,并让同一套排序服务多个保留比例。在Qwen2.5-VL-7B上,10%保留率时它把采样导致的负翻转相对FastV降低30.3%,30%保留率时在MME上保留基线性能的98.74%。

  2. arXiv

    删除请求不再牵动大半分片:IDSISA用影响函数集中遗忘样本,再向未受影响分片蒸馏补回精度

    面向隐私法规下的机器遗忘,IDSISA在SISA的分片重训框架上加入影响函数引导的分片分配与跨分片蒸馏。影响分数在训练前一次性算出,把可能被一起删除的样本集中到少数分片,使一次删除请求触及的分片数少于随机分片;重训分片同时向未受影响分片学习软输出,补回隔离训练丢掉的效用。在ResNet-18/CIFAR-10、BiLSTM/IMDB、TCN/IMDB与Fashion-MNIST全连接网络上,删除保证仍来自重训本身,蒸馏只是单独量化的效用恢复手段。

  3. arXiv

    分块蒸馏搜索的加法假设在55%延迟预算处断裂:成对搜索领先3.3–16.6个点

    分块蒸馏式架构搜索把每个替换块的单独得分相加来挑选子网络,这一加法假设此前很少被直接检验。在DeiT-S与DeiT-B上,延迟预算从60%降到55%时,加法整数线性规划微调后的精度开始明显落后于建模块间交互的成对整数二次规划,ImageNet-100上差距为3.3–16.6个点。误差可拆成只由得分非线性带来的度量项和真正的功能交互项,前者在DeiT-S上占多数、后者在DeiT-B上占多数;一种用单块logit预测排序、只实测少量候选的混合搜索无需专门测量块对,在ImageNet-1k的14个设置中有13个显著优于成对搜索。

  4. arXiv

    CallCleaner把音频基础模型蒸馏成19M参数降噪器:野外动物录音在笔记本CPU上比实时快约90倍

    野外动物录音常混入风雨、车辆和虫鸟声,而干净训练数据稀缺。CallCleaner把通用音频源分离基础模型SAM-Audio蒸馏成一个1890万参数的波形到波形降噪器,不需要检测器或提示,在笔记本CPU上比实时快约90倍。在Biodenoising测试基准的47段不超过30秒的片段上,它留在叫声周围的噪声比Biodenoising少11 dB,并在44/47段上更好。

  5. researchsquare.com

    个性化联邦学习盯住每个样本的表征漂移:CIFAR-100上63.05%,比最强基线高5.96个百分点

    个性化联邦学习要在共享知识与客户端本地适配之间取平衡,但非独立同分布数据和部分客户端参与会让共享表征在通信轮次间漂移。FedEAGD为每个客户端维护一个指数滑动平均教师,用样本当前与历史共享表征的余弦差异度量漂移,并据此逐样本调整历史蒸馏强度,同时按阶段逐步引入个性化残差。在CIFAR-100、Dirichlet浓度参数α=0.1的设置下,它取得63.05%的准确率,比所评估的最强基线高5.96个百分点。

  6. arXiv

    6U立方星在轨训练热分割模型:约13分钟微调后mIoU超0.9,再用它闭环把姿态对准月球

    一颗6U立方星在近地轨道上完成了热红外分割模型的在轨训练与推理,并把模型输出接入姿态确定与控制系统,用实时热像流闭环指向月球。训练在NVIDIA Jetson TX2 NX的GPU上进行,30轮加30轮共约13分钟,最终mIoU超过0.9;2026年1月26日和30日的两次跟踪实验把指向误差均值降到7.4和13.5像素,早期实验则出现明显振荡。

  7. arXiv

    AutoCompress 把部署约束写进剪枝搜索:三种硬件上平均准确率高出 Minitron++ 最多 6.57 个百分点

    大模型剪枝通常按参数量定目标,但参数量并不能预测延迟、吞吐和显存,这些指标取决于架构、负载、硬件与服务引擎。AutoCompress 把延迟、吞吐、参数和显存约束直接放进可微架构搜索,同时搜索全局维度与逐层结构,并用目标服务引擎中实测校准的代价模型引导搜索。在与 Minitron++ 相同的部署预算和恢复训练下,它在 RTX 5070、RTX 5080 和 H100 上把八项基准的平均准确率分别提高 6.57、2.35 和 0.57 个百分点,架构选择所用 token 约为后者的二分之一到三分之一。

  8. MongoDB | Blog

    MongoDB Research发布LEAF蒸馏框架:23M参数嵌入模型保留教师97%性能,无需GPU即可检索

    MongoDB Research 发布 LEAF 知识蒸馏框架,并公开两个 23M 参数文本嵌入模型 mdbr-leaf-ir 与 mdbr-leaf-mt。此前高性能嵌入模型动辄上亿至数十亿参数,通常依赖 GPU 服务器,且不同模型之间嵌入不兼容,换模型需重算全部文档向量。LEAF 只对齐教师与学生输出嵌入,蒸馏模型保留教师最高 97% 的性能,体积小 5–15 倍、速度快 7–24 倍,可在纯 CPU、物联网与移动设备上离线运行。

  9. arXiv

    PRISM-Net把商品检索拆成线条与颜色两路:SwinV2上线条检索mAP@10提升5.74个百分点

    PRISM-Net把商品图像的整体特征拆成线条与颜色两条专家通路,用冻结的SigLIP文本提示以零样本方式监督两个路由器,再由按图像自适应的元路由器融合两路证据。在275,454张、18类电商图像的5折交叉验证与55,091条查询对220,363张图库的全量检索中,SwinV2骨干上线条检索mAP@10提升5.74个百分点,颜色专用配置的颜色检索mAP@10提升9.12个百分点;ConvNeXt-V2与DINOv3上产品检索与属性对齐之间存在取舍。

  10. Preferred Networks

    PLaMo 3 Translate 公开四档权重:0.8B 小模型在日英与日语多语翻译上超过30倍大的专用模型

    Preferred Networks 在 Hugging Face 公开了翻译专用模型 PLaMo 3 Translate 的 0.8B、2B、8B、31B 四档权重,并提供 FP8、W4A16、NVFP4、GGUF、MLX 等量化与本地推理格式。其最小 0.8B 模型在日英与日语↔多语翻译上,超过参数量大 30 倍以上的现有翻译专用模型;英语↔多语方向则由 2B 模型超过现有全部翻译专用模型。训练以两阶段监督微调加 DPO 为主,小模型再经 31B 教师蒸馏。