多模态智能体接入新专家工具:COTEX只加轻量适配器,旧工具选择几乎不受影响
核心概要
多模态智能体通常只会裁剪、搜索、执行代码这类通用工具,专业视觉模型一直留在工具空间之外。COTEX把新工具的学习限制在共享的工具调用子空间内,并让更新方向与已有工具选择方向正交,从而在加入新工具时保住旧工具。在DeepEyesV2与Metis两个智能体、OCR、目标检测和深度估计三个专家工具上,摘要报告九个视觉语言基准取得提升、已有工具最多下降0.3点,而引言贡献处写的是十个基准,两处计数不一致。
深度剖析
多模态智能体可以在训练完成后继续接纳新的专业视觉工具,而不必重跑全量训练,也不必牺牲原有工具的使用能力。 此前的两条路各有代价:全量训练的成本随每加入一个工具而增长,而只在新工具上训练的适配器会覆盖智能体依赖的旧工具方向。 在DeepEyesV2上依次接入OCR、目标检测和深度估计后,V*Bench保持80.6,而朴素微调、O-LoRA和KeepLoRA分别为75.9、78.0和74.3。
新工具被写成一个低秩适配器,它只占用“何时该调用工具”的方向,不碰“调用哪个工具”的方向。 COTEX对智能体相对基座多模态大模型的权重位移做奇异值分解,再按校准集上的梯度敏感度给方向排序,把对发起调用敏感的方向组成共享工具调用子空间。 在这个子空间内,对已有工具选择敏感的方向被标记为受保护,新适配器与它们正交;训练数据来自ICDAR 2015、Ref-Adv-s和UniQA-3D的标注,经规则校验后得到每个工具约千条轨迹。
新工具的训练轨迹不需要教师模型撰写,而是由智能体在专家模型的原生数据上自行尝试、再由任务校验器筛选。 专家模型自带的标注只说明正确输出是什么,并不说明智能体该如何调用工具并用其输出作答。 校验器只保留最终答案与原始标注一致的轨迹,这些轨迹随后用于监督微调和强化学习两个阶段。
启示与展望
演示范围是两个后训练多模态智能体DeepEyesV2和Metis,依次接入OCR、目标检测和深度估计三个冻结的视觉专家工具,评测集中在视觉感知、文本理解、空间推理和相对深度这几组基准上。
检测准确率在接入深度工具后出现下降;强化学习阶段深度准确率从93.5降到74.0,尽管深度工具的调用率保持100.0%。摘要与引言对基准数量的表述不一致,摘要写九个视觉语言基准,引言贡献处写十个基准。
