智能体画图不再只靠试错:RSIgen让理解与生成互相改作业,三个骨干上Overall9高出3.2至3.3分
核心概要
统一多模态骨干里,负责理解与调度的智能体和负责出图的生成器原本各自学习,生成器一更新,智能体此前学到的动作监督就可能过时。RSIgen把“谁该学、哪些动作还有用、接下来学什么”串成闭环:用匹配干预判断学习对象并构造兼容训练目标,生成器更新后固定分支输入重新比较动作效用,再由保留的角色构建下一轮课程。在BAGEL、Qwen-Image与Wan-Image-7B上,其AgentGen-Bench Full Overall9比三轮SearchGen适配加动作成本高3.2至3.3分。
深度剖析
统一多模态模型里,理解角色和生成角色可以互相提供训练经验,但一次任务成功并不能说明该由谁来学。 此前的SearchGen先训练生成器、再校准推理器,GenEvolve把对比轨迹蒸馏进不断演化的智能体,两者都没有把“学习对象分配”和“动作监督是否仍然有效”分开处理。 在BAGEL、Qwen-Image和Wan-Image-7B三个骨干上,RSIgen的AgentGen-Bench Full Overall9分别为39.9、50.3和47.5,比三轮SearchGen适配加动作成本分别高3.2、3.2和3.3分。
RSIgen用动态责任路由(DRR)决定一次经验交给智能体还是生成器,并据此编译出与该角色匹配的训练目标。 DRR在证据、输入和受支持动作上做匹配干预:Oracle证据能修好检索失败,就归为智能体的获取能力;修正提示能修好输出,就归为智能体的输入构造;输入充分仍失败,则归为生成器的实现能力。 在Wan上固定角色级训练量的对照中,DRR达到Full 47.4,比兼容均匀分配高1.4分、比仅按失败位置路由高1.1分,同时每请求搜索次数从1.29降到1.21、生成与编辑次数从1.37降到1.32。
生成器学习之后,智能体原有的动作监督会被重新检验,过时的标签被替换为按新生成器重新排序的监督。 旧监督在动作失效或明显变差时才算过时;若新旧生成器对各动作的提升相同,动作间的相对差距保持不变,偏好集合可能改变而旧标签仍有竞争力。 在200条留出请求上,生成器更新后生成前决策有22.2%、生成后决策有20.8%出现偏好转移,旧标签过时比例分别为17.0%和15.7%;刷新监督把三阶段Mini O9从47.37提高到50.20,生成前/后regret从5.37/4.60降到3.30/3.00。
保留的角色会用更新后的证据、输入和结果构建下一轮课程,使递归改进与目标有效性和监督新鲜度同时变化。 冻结课程来源的对照让受训角色继续学习,只改变课程内容来源;双冻结时Wan的Full为42.8,只冻结智能体为44.8,只冻结生成器为44.0。 三次尝试中,当前来源产出5,580/7,480个有效智能体/生成器目标,双冻结为4,430/6,740,刷新后的智能体目标为1,950对0,而各臂训练条目数固定为5,400/6,600。
启示与展望
演示范围是BAGEL、Qwen-Image和Wan-Image-7B三个统一多模态骨干上的AgentGen-Bench评测,机制研究集中在Wan,人类偏好来自200条真实用户请求的盲评;动作比较使用有限的共享探针库,区间衡量的是在已训练检查点与冻结证据条件下的请求变化。
路由给出的是可操作的学习假设,而非唯一的因果识别;来源冻结对照同时改变课程内容与目标产出率,其效应应联合解读;受保护能力的容差只作用于每次被接受的更新,允许的损失可在连续步骤中累积;人类偏好是所评估真实用户样本的描述性汇总,未给出请求簇置信区间。
