智能体训练数据不再全靠专家示范:JudgeMix按步评判,AppWorld上pass@1最高提升8点
核心概要
用专家轨迹做监督微调训练AI智能体,训练数据与目标模型推理时的状态分布不一致,模型一旦偏离理想轨迹就容易失败。JudgeMix在每一步用评判器判断目标模型提出的动作是否语义正确,只在模型出错时让专家接管,并按评判结果调整专家监督的权重。在AppWorld与AutomationBench两个工具调用基准上,JudgeMix对Qwen3.5-2B和Qwen3.5-9B两个目标模型都取得最高pass@1,相对纯专家示范最高提升8点和10点。
深度剖析
智能体监督微调的数据合成从“专家示范或随机混合”改为按步语义评判决定专家何时介入,使训练轨迹既保持较高成功率,又贴近目标模型自身的状态分布。 此前的混合方案对目标模型的行为是盲目的:On-policy Expert Correction在均匀采样的某一步让专家接管,DAgger按概率随机插入专家动作,都可能打断目标模型本来正确的生成,或在错误已不可挽回时才介入。 在AppWorld与AutomationBench上,JudgeMix对Qwen3.5-2B和Qwen3.5-9B均取得表中最高pass@1;相对纯专家示范,在AutomationBench Test-N上最高提升10点,在AppWorld上最高提升8点;相对常居第二的DAgger,在AppWorld和AutomationBench上分别领先5点和7点以上。
每一步先由目标模型提出动作,再由评判器给出二值语义判断,被接受就继续用目标模型的动作,被拒绝就换成专家的动作继续推进轨迹。 评判器由专家模型实例化,AppWorld用GLM-5.1、AutomationBench用GLM-5.2,因此判断依据是这一步是否朝完成任务有效推进,而不是随机启发式。 在固定每条训练任务生成8条轨迹的预算下,评判引导的轨迹pass@1比随机介入高27点;在AppWorld上Qwen3.5-2B的JudgeMix轨迹平均14.7步,短于DAgger的18.4步。
被评判器拒绝的错误动作会被临时提交到环境,记录下含错误的历史,再配上专家的纠正动作,作为错误恢复监督加入训练集。 此前的目标模型自采样方法只保留成功轨迹,模型很少见到自己出错后的状态,也就学不到如何从错误中恢复。 去掉错误恢复数据后,Qwen3.5-2B在AppWorld Test-N和Test-C上分别下降7.5点和5点,Qwen3.5-9B在两个测试集上也有下降。
启示与展望
演示范围限于AppWorld与AutomationBench两个工具调用基准,目标模型为Qwen3.5-2B和Qwen3.5-9B,专家与评判器分别使用GLM-5.1和GLM-5.2,每条训练任务固定生成8条轨迹,pass@1取8次评测平均。作者明确把跨模型迁移列为后续工作。
作者指出合成数据集与特定目标模型耦合,每个目标模型都需单独生成数据;逐步查询评判器带来额外计算开销;方法效果最终取决于评判器可靠性,在中间进展含糊的开放领域,不可靠的评判可能损害轨迹质量与监督重加权。
