跳到主要内容
返回时间线
Vercel News来源发表:

智能体成了软件的用户:Vercel用Harbor评测咖啡下单,pass@5约99%而pass5约8%

核心概要

Vercel把AI智能体当作软件的真实用户来评测,在发现、选择、接入、成功四个环节中重点衡量最后一步“任务是否真的完成”。它用开源框架Harbor在容器里跑完整任务并逐条约束打分,以咖啡下单命令行工具为例,Claude Code加Opus 5.5五次试验成功三次,pass@5约99%而pass5约8%,说明“能做对一次”和“每次都能做对”是两个问题。

Source-provided article image: Agents are users, so your software needs evals
Figure 1 · Vercel

深度剖析

软件评测的对象正在从人扩展到AI智能体:智能体代替人调用API、命令行工具、MCP服务器或SDK完成任务,因此需要一套反复运行并打分的评测来衡量这些工作完成得如何。 此前的测试只回答“这次调用是否成功”,日志显示请求正常返回就算通过;而智能体可能把用户要的冰拿铁下成热拿铁,请求本身依然成功。 咖啡下单的例子把这一差距摆出来:智能体在24街豆子店下单,饮品和取餐时间都对,含税和小费共9.27美元,超出8美元预算,验证器把预算这一项判为0。

做法是把评测按大语言模型调用次数分层:确定性测试不调用模型,单轮评测检查一个决策,端到端评测让智能体在环境里走完整条任务链再检查最终结果。 单轮评测只能看某一步是否合理,而成功取决于搜索咖啡馆、按用户条件筛选、下单这一整串步骤,每一步单独看都说得通,结果仍可能错。 示例任务把环境做成半真半假:智能体使用真实的sfbeans命令行,但咖啡馆数据和时钟被固定在早上8点30分,每次试验从同一个早晨开始,验证器按饮品、时间、预算分别打分,全部满足才记1分。

启示与展望

示例聚焦漏斗最后一步“成功”,即智能体是否完成用户任务,并在指令中直接点名工具以跳过发现与选择环节;评测在容器沙箱中运行,咖啡馆数据与冻结时钟构成受控环境。

文中给出的四个变体成绩被标注为示意数字;五次试验下100%只意味着“尚未见到失败”,不等于“从不失败”;评测会随模型和产品改进而饱和,饱和后仍能抓回归,却不再指出下一步该改什么。