跳到主要内容
返回时间线
arXiv来源发表:

Neos把检索到的图像证据接进搜索决策:9B与35B在十个基准上平均高出各自基础流程17.4和15.5分

核心概要

多模态深度搜索智能体常把检索到的图像当作一次性输入,难以用中间视觉证据指导后续查询。Neos把可训练的多模态证据接口嵌入搜索工具,并用参考引导的信用分配区分关键错误与其下游后果,再让策略强化学习与接口微调交替进行。在十个基准上,Neos-9B与Neos-35B相对各自基础流程平均提升17.4和15.5分。

Source-provided article image: Neos: Learning to Interleave Search and Visual Reasoning
arXiv

深度剖析

多模态搜索智能体开始把检索到的图像证据当作影响下一步查询的中间变量,而不只是开头识别或结尾取属性的素材。 此前的训练与评测任务往往不要求新获得的视觉证据影响后续搜索,标题、元数据或索引文本还能绕过中间视觉推理,智能体因此可以在不内化这一循环的情况下答对。 Neos用带中间视觉依赖的任务训练,并在十个基准上与直接作答、同一工具框架下的智能体流程以及专门训练的多模态搜索智能体三类基线比较。

检索结果先由一个轻量视觉语言模型按当前搜索目标筛选和摘要,再作为普通工具观察交给搜索策略。 以往检索内容常由固定的大型或专有辅助模型转成观察,推理开销重复,且无法随策略不断变化的证据需求调整。 这个多模态证据接口嵌在网页访问、图像搜索和反向图像搜索三个工具里,返回结构化文本与图像引用,查询构造和按需查看图像仍由策略掌握。

训练信号按轮次分配,失败搜索中真正有用的取证或纠错动作仍能拿到正信用。 仅凭最终答案对错给出的监督过于全局,难以指出关键错误,也难以把它与后续连锁后果区分开。 信用判断以已验证的成功轨迹为参照,对失败轨迹标注关键错误、其下游后果以及有效或纠正性决策,未标注的后续轮次继承前一个错误的严重度与置信度。

启示与展望

展示范围是十个基准上的多模态深度搜索评测,覆盖事实型视觉问答、多步信息检索和在线视觉证据推理;评测允许每个问题最多50轮交互,视觉编码器与多模态融合模块在训练中保持冻结。

证据接口的训练依赖在线交互中筛选出的调用,失败轨迹只贡献被标为有效或纠正性的调用;信用分配中未标注轮次继承前一个错误的严重度与置信度,这一传播规则本身带有设定。