智能体在线蒸馏会改写ReAct习惯:ALFWorld教师把客服任务准确率从41.5%压到6.6%
核心概要
在线蒸馏把专门领域的教师能力迁移给语言模型智能体,但跨领域时也会连带改写它组织推理、动作与获取观察的方式。研究在数学、ALFWorld与客服工具任务上比较不同来源的蒸馏学生,发现代码解释器监督能把客服任务准确率从41.5%提到51.0%,而ALFWorld监督反而把它压到6.6%,并伴随大量未等用户回复就发起的工具调用。作者随后只用源域轨迹,按教师领域强化学习前后对数概率变化筛选监督位置,保留前95%位置把客服准确率从6.6%提到68.9%,代价是源域性能有所下降。
深度剖析
在线蒸馏改变的不只是任务分数,还包括智能体在多轮交互中如何选择解题路线、如何根据环境反馈调整动作、以及何时等待用户提供信息。 此前的在线蒸馏研究主要看目标任务的准确率,跨领域时交互行为本身如何变化并不清楚。 在数学、ALFWorld与客服工具任务上训练并交叉评测同一批Qwen3-4B-Instruct-2507学生,代码解释器监督把ALFWorld准确率从0.129提到0.402、把客服任务准确率从0.415提到0.510,而ALFWorld监督把客服任务准确率从0.415降到0.066。
失败可以追溯到一种具体的交互时序:学生在同一轮里既写出请求用户信息的文字,又直接发出依赖该信息的工具调用。 基线模型几乎不出现这种同轮请求与调用并存的情况,ALFWorld教师本身在客服任务上也很少这样。 ALFWorld学生含请求文字的输出中有94.3%同时含工具调用,语义复核显示55.8%的轨迹存在依赖尚未获得信息的调用,基线为0.50%,且违规覆盖100个客服任务中的98个。
只用源域训练轨迹也能缓解这种负迁移:按教师领域强化学习前后的对数概率变化排序,丢弃变化最负的尾部位置。 常规在线蒸馏对所有学生生成位置一视同仁地施加教师监督,负迁移随之进入学生。 在仅用ALFWorld轨迹的设定下,保留前95%位置把客服任务准确率从6.6%提到68.9%,ALFWorld准确率保持在0.834,而全量保留时为0.855;随机保留同样比例的位置仍会损害客服任务表现。
启示与展望
结论建立在Qwen3-4B-Instruct-2507学生之上,教师包括同一4B家族的代码解释器教师,以及从Qwen3-30B-A3B-Instruct-2507初始化并做领域强化学习的ALFWorld与客服任务教师;覆盖无工具数学推理、代码解释器数学、ALFWorld以及航空、零售、电信客服任务。评测使用AIME2026与BeyondAIME数学题、ALFWorld的140个分布内与134个分布外任务,以及100个客服任务。作者指出,把分析扩展到更大规模学生、其他模型家族和更广的智能体环境,才有助于确认这些迁移模式的普遍性。
作者把负迁移归因于学生对任务特定ReAct模式的严重过拟合,但这一机制判断来自行为观察与位置分析,仍需受控干预来分离跨域迁移的成因。选择性监督在缓解客服任务退化的同时牺牲了部分源域性能,且保留比例与替代排序规则给出的源域—目标域平衡并不一致;GR到代码解释器的扩展在平均GR准确率相近时保留了更多工具使用,但整体代码解释器准确率更低。
