arXiv来源发表:
智能体在线学习不再只向前读:把轨迹当反馈回改反思,三个基准上稳定超过记忆与提示优化
核心概要
智能体在长交互流中需要在线适应分布变化,而现有智能体框架要么只靠前向信息流更新状态,要么依赖额外的回放或验证数据来优化。ReHarness 在严格在线流式协议下,把前向读写与反向修订结合起来:每条实例处理完后,用产生的轨迹作为反馈,回头修订该实例检索到的反思,让反馈沿文本化的框架状态向后传播。在三个持续学习基准和三个语言模型骨干上,它稳定优于原始上下文基线、基于记忆与反思的方法以及提示优化方法。
深度剖析
智能体框架的状态更新多了一条反向通路:每条实例结束后,用刚产生的轨迹去修订这条实例当时检索到的反思,反馈因此能沿文本状态向后传。 此前的智能体框架通常只让状态随前向信息流演化,或者需要额外的回放与验证数据来优化框架。 在三个持续学习基准和三个语言模型骨干上,这一做法稳定优于原始上下文基线、基于记忆与反思的方法以及提示优化方法。
修订的落点是文本化的框架状态,而不是模型权重,因此整个过程可以放在严格在线流式协议下进行。 它要回答的问题是:框架状态里原本还能以什么方式捕获信息,才能更好地服务流中的当前实例。 分析显示,产生的修订有来源依据且有意义,能在分布变化下纠正过度泛化或过时的经验,并同时改善持续学习中的稳定性与可塑性。
启示与展望
这项工作面向在长交互流中运行的智能体,适用场景是严格在线流式协议下的持续学习,评测覆盖三个持续学习基准和三个语言模型骨干。读者若关心的是离线批量训练或需要额外回放与验证数据的设定,需要另行判断其适用性。
材料为摘要,未给出各基准上的具体指标数值、修订质量的量化方式,也未说明不同骨干之间的差异幅度。反向修订带来的收益是否随流长度或分布变化强度改变,材料没有交代。
