基准测试不再靠人手工搭:Benchmark Agent 全自动生成15个基准,人工接受率约96%–98%
核心概要
香港中文大学MMLab等机构推出Benchmark Agent,把基准构建从人工设计、采集、标注的流程改为由智能体自动完成。系统由负责拆解需求的Benchmark Planner和负责调用工具生成样本的Benchmark Executor组成,在文本、多模态与领域推理共15个基准上生成题目。五项代表性基准的人工接受率约为96%–98%,LLM-as-Judge的用户意图对齐分为68.54–81.48,说明自动生成的基准大体保留了用户要求,但证据落地与难度控制仍是较弱环节。
深度剖析
基准测试的构建方式从人工流水线转为智能体自动执行,用户给出一句评估需求,系统就能产出可运行的基准题目。 此前的基准及其构建流程基本由人驱动,任务设计、数据收集清洗、人工标注和偏好对齐都要投入大量人力,而且每个新基准往往几乎从零搭起,迭代慢。 在文本、音频-文本、图像-文本和音视频-文本共15个基准上,五项代表性基准的人工接受率约为96%–98%,LLM-as-Judge的用户意图对齐分在68.54–81.48之间。
系统把长流程拆成规划与执行两级,规划端把模糊需求变成可落地的子任务与数据分配,执行端把方案变成具体题目。 规划端由Design、Grounding、Allocation三个智能体协作,分别负责提出并修订子任务、验证子任务能否由真实数据集加变换方案支撑、在配额约束下求解可行分配。 执行端按样本逐步编排,调用文本转语音、图像缩放、音频混合、噪声注入、网络搜索等合成工具和文件转换、元数据编辑等脚本工具,并对生成样本做内容与格式校验和配额补充。
自动构建在时间成本上明显低于人工标注。 人工标注在音频推理基准上约需每样本6分钟,在艺术推理基准上约需每样本5分钟。 Benchmark Agent 在对应两类基准上分别约为每样本0.3分钟和0.2分钟。
启示与展望
已展示的范围是四类场景共15个基准,其中五项代表性基准给出人工接受率与LLM-as-Judge评分,一致性检查覆盖Qwen3.5系列在三个基准上从2B到27B的表现;构建默认以GPT-5.1为骨干模型、以General-Bench为数据集池。
生成样本在上下文-问题对应、目标信号依赖和技能挑战三项上得分偏低且波动较大,证据落地与难度控制被列为后续改进方向;系统还受可用工具覆盖范围限制,轻量人工复核仍被认为有用。
