跳到主要内容
检索

# 监督知识蒸馏

1 篇关联报道

订阅更新
  1. arXiv

    δ-Vision 用轻量 MLP 适配器重建逐层视觉记忆,在保留全部视觉 token 的同时把 FLOPs 降到 17.90%

    该工作通过低秩干预发现多模态大模型中视觉到文本的信息流集中在低维子空间、且逐层视觉状态可由轻量 MLP 高余弦相似度地预测,据此提出 δ-Vision:冻结语言模型主干,用低秩适配器直接构造每层视觉记忆并保留全部视觉 token 供文本检索,在 Qwen3-VL-4B 上取得 74.4 的平均分(保留 92.9% 未压缩性能),比最强 5% 保留率剪枝基线 DivPrune 高 9.1 分,在 Video-MME 上仅需未压缩模型 17.90% 的 FLOPs。

已读完全部报道