跳到主要内容
返回时间线
Blog来源发表:

模型自己当教练也当裁判:多智能体自监督两轮后,每输出词元得分达基线的1.2至1.6倍

核心概要

让同一个模型扮演一支虚拟子智能体团队,再从中挑出最好的协作流程,用这些流程的执行记录反过来训练自己,这就是多智能体自监督(MASS)。在一个270亿参数的开源模型上跑两轮后,四个开放式研究基准上每输出词元的得分达到基线的1.2至1.6倍。研究还提示,当模型同时充当评估者时,共享的盲点可能让错误被当作进展接受并固化进训练。

Source-provided article image: Recursive Self-Improvement through Collective Intelligence
sakana.ai

深度剖析

同一个模型可以靠一支虚拟子智能体团队完成开放式研究任务,并从团队中最好的协作流程里学习,而不依赖外部专家逐条评判。 此前的自改进循环里,模型既是优化者又是评估者,缺少有用的自监督信号,容易强化自身盲点而不是纠正它们。 在一个270亿参数的开源模型上,用合成的开放式研究任务跑了两轮循环,第二轮之后四个研究基准上每输出词元的得分达到基线的1.2至1.6倍。

训练数据来自团队执行过程,团队的经验被蒸馏回共享模型,模型由此同时获得优化和评估两方面的能力。 多智能体自监督(MASS)让一个共享模型通过一组虚拟子智能体解题,搜索更好的多智能体工作流,再用自己的判断挑出最好的那些。 只用在解题任务上产生的数据训练,优化者和评估者的能力都自然提升,说明角色能力可以在循环内泛化;多智能体轨迹比单智能体轨迹更适合作为这类自改进的训练数据。

启示与展望

报道的范围是一个270亿参数开源模型、合成的开放式研究任务、两轮自改进循环,以及四个研究基准上每输出词元的得分。适合关注自改进训练流程与多智能体系统安全的研究人员和工程师阅读。原文没有给出下一步实验计划。

原文把同质自改进的安全问题作为需要社区仔细调查的方向:模型同时充当评估者时,共享盲点可能让错误被当作进展接受,并通过训练被强化。原文还指出,优化者容量而非评估者容量可能成为改进速度的瓶颈,这一判断来自所报告的两轮循环。