智能体把环境事实和执行技巧分开学:TTSE在SOPBench五域上比单轨高约3个百分点
核心概要
华为泊松实验室提出TTSE,把大模型智能体从交互中学到的经验拆成两条独立演化的轨道:一条记录“环境是什么样”的事实,一条记录“在什么条件下该怎么做”的执行程序。此前这类经验通常被当作外部固定输入,或只优化技能而忽略环境条件。在SOPBench五个领域、892个任务的三次重复中,双轨比统一单轨的总体准确率高出2.99个百分点,95%置信区间为2.34到3.65个百分点。
深度剖析
智能体从交互中积累的经验被分成两类分别维护:描述环境规律的事实规则,以及带明确条件前缀的执行程序规则,两者各自独立编号、注入、验证和退役。 此前的自演化工作,无论是反思式反馈、技能库还是规则抽取,核心都在回答“面对任务该采取什么行为”,环境知识多以任务描述或提示上下文等外部静态形式给出,而不是可被自主积累、验证和修订的对象。 在GDPevo的四条件消融中,双轨完整版三次运行均值为0.2616,仅保留执行程序为0.2380,仅保留环境事实为0.1918,零样本基线为0.0947;完整版相对仅执行程序高2.4个百分点,相对仅环境事实高7.0个百分点。
两条轨道按训练分块循环更新,每块结束后依次执行归责、退役、矛盾合成和归纳四个阶段,让早期学错的规则能在后续分块中被清除。 离线流程先收集全部轨迹再做一次性归纳,规则库在训练过程中不会自我纠正;TTSE改为在线增量循环,每块完成即触发一轮规则库更新。 归责阶段对当前分块中失败轨迹逐条判断是否由某条注入规则直接误导,每条失败最多归咎一条规则;被归咎规则移入退役池并保留退役原因,供后续矛盾合成使用。
与贝叶斯后验驱动的技能管理方法结合时,双轨表示仍带来增益,说明这一拆分不依赖TTSE自带的计数式证据跟踪。 单轨消融把所有规则归入同一个统一规则库,不区分事实与程序,只由贝叶斯后验管理规则质量,因此两者差异只来自轨道结构。 SOPBench五个领域共892个任务、三次重复,单轨总体为91.59%,双轨为94.58%,配对自助法给出95%置信区间2.34到3.65个百分点,置换检验p小于10的负4次方;剔除增益最大的仓库域后仍为正0.67个百分点,p为0.011。
启示与展望
已展示的范围是五个基准上的评测:ALFWorld、ScienceWorld、GDPevo、SOPBench五个领域和PinchBench的147个端到端任务,均以三次独立重复的均值报告;PinchBench采用流式协议,没有留出测试集,只保证单个任务自身的解答不会被注入回该任务。
双轨相对单轨的增益随领域变化,危险品域双轨为94.0%、单轨为94.6%,差异不显著;仓库域贡献了总增益的78%,剔除后优势缩小到0.67个百分点。完整版与仅执行程序之间的差距没有做正式显著性检验,作者将其定位为消融证据而非统计确认的幅度。规则库从空白冷启动,初始分块完全依赖模型零样本能力,归纳阶段也缺少结构化的执行验证。
