英伟达放出 SkillEvaluator:先给智能体技能做静态质检,再用有无技能的对照跑分
英伟达发布 SkillEvaluator,用来检查 AI 智能体技能的质量,并测量技能对任务结果的影响。它先做质量检查,再对比启用与不启用该技能的运行结果;技能是按 Agent Skills 规范定义的指令与配套文件目录。随附的 text-analyzer 示例在静态质量检查中得 88.8/100(B),默认通过阈值为 70,但发布证据仍标记为不完整。
英伟达发布 SkillEvaluator,用来检查 AI 智能体技能的质量,并测量技能对任务结果的影响。它先做质量检查,再对比启用与不启用该技能的运行结果;技能是按 Agent Skills 规范定义的指令与配套文件目录。随附的 text-analyzer 示例在静态质量检查中得 88.8/100(B),默认通过阈值为 70,但发布证据仍标记为不完整。
WebArena-Pro是一个可复现的网页智能体基准,包含20个自托管网页应用、6个领域类别和300道人工验证任务,并把音频与视频作为与文本、视觉并列的核心观测。此前可复现的自托管基准只覆盖少数应用类别,且模态限于文本和视觉;实时基准站点更广却在两次运行之间发生页面漂移。评测中Codex配GPT 6.1 Sol与Claude Code配Claude Opus 5.5并列最高,成功率62.3%,跨站任务普遍低于单站任务。
英伟达发布开源命令行工具SkillEvaluator,用于检查AI智能体技能并衡量技能对任务结果的影响。技能是按Agent Skills规范组织的指令与配套文件文件夹。工具先做静态质量检查,再对比启用与不启用技能的运行结果;示例技能text-analyzer在质量检查中得86.2/100(B),退出码为0,通过阈值默认为70。该分数只反映静态质量,发布证据仍标记为不完整。
CyberArena把网络安全评测从静态靶标改成多轮攻防对抗:两个智能体在隔离沙箱里同时攻击对方服务并修补自己的服务,目标每轮轮换。在40个挑战、466局比赛中,12个前沿模型里GPT-5.6 Sol与Claude Opus 5领先,而三个模型单独都能解出的30个挑战进入对抗后,第三轮捕获率分别降到52%、37%和35%。
FinCosmos把金融智能体评测中的用户意图、数据来源和时间边界同时打开:模拟投资者只按提问透露隐藏策略,智能体须自行从网络取数并在数据截止日前完成回测,评分由程序核验交付物而非比对参考答案。四个编码智能体与一个无工具模型共150次会话无一被接受,其中模拟用户表示满意的35次全部至少触发一项程序否决。
空间转录组切片对齐缺少可审计的智能体评测,Paper2Bench 把两篇已发表的对齐基准研究转成121个可执行任务,让智能体在隐藏真值的容器里作答,并用同一评分器重跑16种已发表基线。在121个任务上,最佳智能体(GPT-6-Astra 与 Gemini-4-Argon)在80%的任务上追平或超过全部基线;把智能体解法蒸馏成独立程序后,在留出任务上超过87%的基线。
智能体评测长期依赖固定基准,只能说明任务成败,无法回答部署时在轨迹中途复核或引导是否值得。研究者把微随机试验引入智能体轨迹,在每个可干预决策点以等概率随机分配复核或直接执行,再用增广逆概率加权与结构嵌套均值模型估计干预的因果效应。在τ-bench Retail、ToolSandbox 与 ImpossibleBench 上,复核效果随工具调用类型和智能体状态明显不同,同一数据还能给出按决策分组的风险排序。
AstroAgentBench把航天任务规划变成可执行、可外部核验的智能体评测:七个任务族共116个用例,主评测取每族5个、共35个留出用例,智能体须提交排程、观测或星座设计文件,由独立校验器检查格式、时序、几何、资源与任务价值。五个智能体系统中,Codex CLI + GPT-5.4与Kimi CLI + Kimi K2.6在全部35个用例上通过有效性检查,最强系统在若干任务族接近或超过求解器参考分数,但在区域覆盖与立体成像等几何、产品级和设计密集型任务上仍明显落后。
MemUse 把评估单位从整条任务结果换成单次记忆投递:在 8,000 条 SWE-bench Verified 智能体轨迹上,三种记忆系统的解决率与无记忆基线相差不超过 0.4 个百分点,但逐条判定显示多数投递条目与任务无关,各系统中 51.3%–79.7% 的相关条目未被智能体采纳,且 23.2% 有有益记忆使用的回合仍然失败。
AI研究智能体每试一个候选程序都要训练和评估模型,执行成本限制了每步能比较的候选数量。MLE-World 由 Qwen3.5-4B 微调而来,只读代码与数据说明就预测程序的终端输出、异常类型和验证分数,并给出置信度。在17项 MLE-bench Lite 任务的留出程序上,其预测终端输出与真实运行一致的比例为77.9%,提示模型基线为41.1%;以它指导的测试时扩展策略最高比无世界模型的智能体高出22.1%的观测平均表现,同时减少真实执行。