跳到主要内容
返回时间线
langchain.com来源发表:

LangSmith把标注队列改成按整段会话审:多轮智能体的错误不再只看最后一句

核心概要

LangSmith 的标注队列现在可以把一整段多轮会话作为一个审阅单元,而不只是一次运行或一个步骤。多轮智能体的错误常发生在前面几轮,只在最后一条回复里才显形,单步审阅会漏掉解释答案所需的早期消息和工具调用。审阅者在这段会话上给出分数和理由,这些标注再用来校准 LLM 评判器、修正在线评估器并沉淀为黄金数据集。

Source-provided article image: Why human insight is a strategic advantage for building better agents
langchain.com

深度剖析

智能体审阅的单元从单次运行扩展到整段会话,审阅者面对的是用户实际经历的那场对话,而不是从对话里切出来的一个步骤。 此前标注队列里的条目可以是一次运行,也就是单个步骤或跨度;只看一个步骤会漏掉解释最终答案的早期消息、工具调用和决策。 Fetch Rewards 的审阅者评估 AI Rewards Assistant 的单轮输入输出,但常需进一步查看 trace 元数据,确认助手调用了哪些工具、回答是否与返回的优惠一致。

审阅者留下的不只是通过或失败,还有为什么的判断,这份理由被存成可复用的评估数据。 自动评估或在线评估器标出一个 trace 时,这个标记只是信号而不是解释,通常不足以说明该怎么改智能体。 在标注队列中,专家视角以分数加审阅理由的形式存在运行或会话上,构建者据此把一次专家审阅转成下一轮更清晰的质量定义。

审阅者读的是轨迹视图,队列条目仍是会话,因为被判断的对象是对话本身。 轨迹按发生顺序显示消息和工具调用,去掉嵌套运行树等重复信息,让领域专家不必先学会读 trace 树。 审阅者在标注会话的同时阅读轨迹,评审工作因此贴着人实际经历的那次交互。

启示与展望

这套做法面向构建和评估多轮智能体的团队,演示场景是 LangSmith 标注队列中的会话审阅,以及 Fetch Rewards 对 AI Rewards Assistant 的逐轮评估。

文中把人类审阅称为构建更好智能体的重要一环,属于该团队的主张;Fetch Rewards 的案例描述了审阅者如何核对工具调用与优惠可用性,但没有报告评估指标的变化。