跳到主要内容
检索

# 多模态智能体

5 篇关联报道

订阅更新
  1. arXiv

    化学图里的反应不再靠人工转录:RxnMiner把立体感知反应F1从21.0%提到71.0%

    化学文献中的反应图常把多个实验画在同一张模板、取代基表和产物网格里,要还原成一条条具体反应记录,此前主要靠人工转录。RxnMiner把专家提取流程与化学工具箱组合成一个多模态智能体,先识别结构、再把证据绑定到每个实验条目、最后由确定性的R基团引擎实例化未画出的反应物。在603张反应图、8547条人工标注记录的ChemRxn-Bench上,以Qwen3.8-Flash-Next为骨干,其立体感知反应宏F1达到71.0%,直接预测为21.0%,最强现有提取系统为25.0%。

  2. arXiv

    GATOR 用生成式与智能体框架从随手拍图像重建带纹理的三维物体并恢复场景相对位姿

    GATOR 是一个生成式与智能体框架,能从一张或多张随手拍图像中恢复带纹理的物体资产及其场景相对位姿:它先用局部模态混合器在跨视角推理前耦合块对齐的 RGB、目标掩码与点图特征,再以文本引导的语义条件通过分阶段适配器生成结构、几何与外观,随后用生成资产初始化多模态智能体,通过观察引导的编辑—渲染—审查循环做结构与纹理精修;在合成物体、杂乱桌面与室内场景上取得较强的几何与外观保真度,并能从稀疏观察中恢复场景相对位姿。

  3. arXiv

    Long-MDR 把多模态深度研究智能体的在线强化学习推到 128k 上下文与 75 轮工具交互,9B 模型在 50 轮评测预算下于六个基准中的五个领先同规模智能体

    该工作把多模态深度研究智能体的在线强化学习训练扩展到 128k 上下文与 75 轮以上工具交互,并提出由同策略蒸馏预热、渐进式视野扩展和熵触发回滚救援三部分组成的 Long-MDR 训练配方,以缓解长视野训练早期奖励上升缓慢与后期熵坍缩的问题;在 50 轮工具交互评测预算下,训练得到的 Long-MDR-9B 在六个基准中的五个上位列所比较的 7B–9B 智能体之首。

  4. arXiv

    FaV-A 用分阶段多模态智能体生成正负空间构图,实验与消融显示其优于直接零样本 MLLM 基线

    该工作提出 Form and Void Agent(FaV-A),一个面向正负空间(positive-negative space)构图的分阶段多模态智能体:先生成基础物体,再分析其形状与空间结构以识别候选负空间语义,最后生成构图指令用于最终图像生成;实验与消融分析表明,相比直接零样本 MLLM 基线,FaV-A 能生成视觉更连贯、语义更对齐的正负空间构图。

  5. arXiv

    EpiCon用两个2B模型搭建共享多模态记忆库,让不同智能体系统互相复用经验并把宏平均分提高1.7到4.9分

    EpiCon提出一个共享多模态记忆框架,用两个独立训练的2B模型(记忆控制器与树自组织器)把问题级的文本指导与视觉证据协同演化,并与持久经验库相连,在不更新宿主模型参数的前提下,让不同多智能体系统互相复用和贡献经验;在11个基准、4个多模态任务域、两种harness与多个骨干上,冻结记忆库即可在单次求解下提升其他系统,第二个harness使原系统宏平均分提高2.6分,四种宿主配置下2B版本比无记忆提高1.7至4.9分,并把记忆操作时间相对骨干规模记忆模型减少67%至74%。

已读完全部报道