跳到主要内容
检索

# Benchmark Agent基准构建智能体

1 篇关联报道

订阅更新
  1. arXiv

    基准测试不再靠人手工搭:Benchmark Agent 全自动生成15个基准,人工接受率约96%–98%

    香港中文大学MMLab等机构推出Benchmark Agent,把基准构建从人工设计、采集、标注的流程改为由智能体自动完成。系统由负责拆解需求的Benchmark Planner和负责调用工具生成样本的Benchmark Executor组成,在文本、多模态与领域推理共15个基准上生成题目。五项代表性基准的人工接受率约为96%–98%,LLM-as-Judge的用户意图对齐分为68.54–81.48,说明自动生成的基准大体保留了用户要求,但证据落地与难度控制仍是较弱环节。

已读完全部报道