跳到主要内容
返回时间线
arXiv来源发表:

多模态大模型连续改知识不再越改越忘:ROSE把更新压进正交子空间,千次编辑后VLKEB可靠性仍有95.24

核心概要

多模态大模型需要不断更新事实,但连续编辑会侵蚀原有能力并冲掉先前修改。ROSE把每次权重更新限制在既有知识子空间的正交补里,再用动态风险掩码保护对通用能力关键的参数,推理时按原型相似度决定是否启用编辑分支。在VLKEB上,编辑次数从1增至1000时ROSE的可靠性由100.00降到95.24,同一设置下FT-L下降26.15个百分点。

Source-provided article image: ROSE: Risk-Aware Orthogonal Subspace Navigation for Lifelong Knowledge Editing in Multimodal Large Language Models
arXiv

深度剖析

多模态大模型的连续知识编辑有了一个把新事实写入与旧能力保护分开处理的方案,ROSE在编辑阶段只改动与既有知识方向正交的参数分量。 此前的终身编辑器要么过于保守、削弱新编辑的可靠性,要么侵入性过强,干扰预训练能力和先前编辑,并且缺少判断哪些参数子空间易受损伤的依据。 在VLKEB上,编辑次数从1增至1000时ROSE的可靠性从100.00降到95.24,同一基准同一设置下FT-L下降26.15个百分点;在1000次编辑时,ROSE在E-IC上的可靠性比LiveEdit高17.85点,在E-VQA上高4.66点。

写入之外,ROSE在推理时先粗后细地决定一条输入该不该触发已编辑的知识,从而减少无关问题被误激活的情况。 此前的模块化方法依靠路由定位知识,但忽略参数更新轨迹,无法阻止共享参数更新时的子空间碰撞。 在VLKEB的1000次编辑设置下,ROSE的文本局部性T-Loc为100.00、多模态局部性M-Loc为88.39;作为对照,SERAC在VLKEB上的M-Loc降到15.04。

实现上,ROSE冻结主干,把连续更新放进一条辅助分支,并按视觉与文本分别维护历史输入的子空间基。 视觉与文本表示相互纠缠,使知识空间对连续扰动格外敏感,单一事实更新可能跨模态引发连锁退化。 消融在VLKEB上进行:去掉多模态解耦后M-Loc为40.54,去掉知识融合后M-Loc为84.37,完整ROSE为88.39;去掉正交编辑后可靠性为78.71,完整ROSE为95.24。

启示与展望

实验覆盖MMEdit的图像描述与视觉问答任务,以及以视觉问答形式构建的VLKEB;默认骨干为LLaVA-v1.5-7B,并扩展到LLaVA-v1.5-13B、MiniGPT-4和Qwen2-VL。报告的编辑序列最长到1000次,未启用容量压缩。效率测量在单张NVIDIA RTX 4090上完成,编辑耗时约1.3至1.7秒每次、推理约1.0至1.2秒每查询,峰值显存从16781.52 MB增至17005.69 MB。

当累积的历史特征子空间接近满秩时,严格正交只允许零更新,ROSE需要与保护全部历史方向做取舍;SVD截断只是针对这一情形的可能扩展,所报告实验未启用容量压缩。风险敏感阈值取0.5时平均指标为92.18,取0.9时为92.22,取1.0时降到88.72,说明该阈值存在权衡区间。