跳到主要内容
检索

# Harbor评估框架

1 篇关联报道

订阅更新
  1. Vercel News

    智能体成了软件的用户:Vercel用Harbor评测咖啡下单,pass@5约99%而pass5约8%

    Vercel把AI智能体当作软件的真实用户来评测,在发现、选择、接入、成功四个环节中重点衡量最后一步“任务是否真的完成”。它用开源框架Harbor在容器里跑完整任务并逐条约束打分,以咖啡下单命令行工具为例,Claude Code加Opus 5.5五次试验成功三次,pass@5约99%而pass5约8%,说明“能做对一次”和“每次都能做对”是两个问题。

已读完全部报道