开源9B视觉语言模型从0/100做到84/100:EmbodyAgent把黑盒教师、SFT与在线强化学习串成一条后训练流水线
核心概要
EmbodyAgent把开源权重的9B视觉语言模型训练成能写Python控制代码的闭环机器人智能体。未经后训练的Qwen3.5-9B在十个LIBERO Spatial任务的100个留出初始状态上全部因输出格式不合规而失败,仅用教师轨迹做监督微调也只到14/100;在智能体自己采样的回合上做在线结果强化学习后升到84/100,测试时每回合模型调用中位数从36降到11。三个阶段共用同一个只暴露原始观测与七维末端控制的执行接口,不需要动作解码器。
深度剖析
开源权重的9B视觉语言模型可以只靠写Python程序来闭环操作机器人,并在留出状态上把成功率从零提到84/100。 同一套工具接口和提示下,未经后训练的Qwen3.5-9B在100个留出状态上全部失败,每个回合都以格式不合规的输出终止;只用教师轨迹做监督微调后为14/100。 评测在十个LIBERO Spatial任务上进行,每个任务30个训练、10个验证、10个测试初始状态互不重叠,100个测试状态从不进入合成或训练,每轮强化学习后以贪心解码、完整回合预算、不启用任何采样侧保护重新评测。
三个训练阶段共用同一个“先解释再写代码”的输出契约:模型每轮先给出规划循环结构、动作分批与何时取观测的说明,再给出一段可执行Python。 此前的代码即策略方法通常在预先手工搭建的操作原语库上组合调用,而这里运行环境只提供env.observation()和env.action(a)两个操作,前者返回主相机与腕部相机图像及机器人本体感知,后者以七维末端执行器指令推进一步仿真。 第一阶段用前沿视觉语言模型Astra Medium作为黑盒教师,在训练状态上尝试1,620次、按环境成功判定过滤后得到100条成功回合(每任务10条),导出1,475条解释加程序的监督目标;第二阶段在Qwen3.5-9B上同时训练视觉编码器与语言参数,共十个轮次。
在线结果强化学习补上了模仿学习在分布偏移下的缺口,并同时压缩了决策次数。 监督微调只见过教师生成的轨迹,而测试时学生要条件于自己写出的程序、执行反馈和由此得到的观测;强化学习直接在学生自己采样的回合上优化,不需要教师、不需要学习到的评论家。 64轮之后留出成功率升到84/100,温度一采样下的训练回合成功率从8.4%升到87.7%,十个任务全部提升,其中九个达到8–10/10,任务4从0/10升到4/10;测试每回合模型调用中位数从监督微调后的36降到11。
启示与展望
演示范围是十个LIBERO Spatial仿真任务、100条合成回合构成的教师语料与一个9B学生模型,评测使用固定的100个留出初始状态。作者把扩展到更广的操作套件、真实机器人执行,以及分离各阶段与表示成分(解释、程序结构、观测调度)的受控消融列为后续工作。
每个训练阶段只反映单次运行,没有多种子重复,因此100个测试状态上的头条分数带有二项标准误,且每个任务只有十个状态。任务4仍停留在4/10,说明稀疏奖励下的结果强化学习并未消除单任务难度上限;固定100个评测状态换来了逐轮可比性,代价是初始状态覆盖较粗。
