跳到主要内容
检索

# 智能体评估

27 篇关联报道

订阅更新
  1. NVIDIA/SkillEvaluator

    英伟达放出 SkillEvaluator:先给智能体技能做静态质检,再用有无技能的对照跑分

    英伟达发布 SkillEvaluator,用来检查 AI 智能体技能的质量,并测量技能对任务结果的影响。它先做质量检查,再对比启用与不启用该技能的运行结果;技能是按 Agent Skills 规范定义的指令与配套文件目录。随附的 text-analyzer 示例在静态质量检查中得 88.8/100(B),默认通过阈值为 70,但发布证据仍标记为不完整。

  2. arXiv

    WebArena-Pro把音频视频纳入网页智能体评测:20个自托管站点、300道题,最强组合只过62.3%

    WebArena-Pro是一个可复现的网页智能体基准,包含20个自托管网页应用、6个领域类别和300道人工验证任务,并把音频与视频作为与文本、视觉并列的核心观测。此前可复现的自托管基准只覆盖少数应用类别,且模态限于文本和视觉;实时基准站点更广却在两次运行之间发生页面漂移。评测中Codex配GPT 6.1 Sol与Claude Code配Claude Opus 5.5并列最高,成功率62.3%,跨站任务普遍低于单站任务。

  3. NVIDIA/SkillEvaluator

    英伟达开源SkillEvaluator:智能体技能先过静态质量关,再比有无技能的任务差异

    英伟达发布开源命令行工具SkillEvaluator,用于检查AI智能体技能并衡量技能对任务结果的影响。技能是按Agent Skills规范组织的指令与配套文件文件夹。工具先做静态质量检查,再对比启用与不启用技能的运行结果;示例技能text-analyzer在质量检查中得86.2/100(B),退出码为0,通过阈值默认为70。该分数只反映静态质量,发布证据仍标记为不完整。

  4. arXiv

    攻防不再各打各的:CyberArena让智能体同场互攻互守,12个前沿模型分出高下

    CyberArena把网络安全评测从静态靶标改成多轮攻防对抗:两个智能体在隔离沙箱里同时攻击对方服务并修补自己的服务,目标每轮轮换。在40个挑战、466局比赛中,12个前沿模型里GPT-5.6 Sol与Claude Opus 5领先,而三个模型单独都能解出的30个挑战进入对抗后,第三轮捕获率分别降到52%、37%和35%。

  5. arXiv

    金融智能体首次在开放世界受考:150次会话无一通过,用户点头的35次全被程序判错

    FinCosmos把金融智能体评测中的用户意图、数据来源和时间边界同时打开:模拟投资者只按提问透露隐藏策略,智能体须自行从网络取数并在数据截止日前完成回测,评分由程序核验交付物而非比对参考答案。四个编码智能体与一个无工具模型共150次会话无一被接受,其中模拟用户表示满意的35次全部至少触发一项程序否决。

  6. arXiv

    Paper2Bench 把已发表论文变成可审计考题:最佳智能体在80%任务上追平或超过全部基线

    空间转录组切片对齐缺少可审计的智能体评测,Paper2Bench 把两篇已发表的对齐基准研究转成121个可执行任务,让智能体在隐藏真值的容器里作答,并用同一评分器重跑16种已发表基线。在121个任务上,最佳智能体(GPT-6-Astra 与 Gemini-4-Argon)在80%的任务上追平或超过全部基线;把智能体解法蒸馏成独立程序后,在留出任务上超过87%的基线。

  7. arXiv

    智能体该不该被人工复核有了因果答案:同一轨迹内随机干预,复核效果随动作与状态大幅变化

    智能体评测长期依赖固定基准,只能说明任务成败,无法回答部署时在轨迹中途复核或引导是否值得。研究者把微随机试验引入智能体轨迹,在每个可干预决策点以等概率随机分配复核或直接执行,再用增广逆概率加权与结构嵌套均值模型估计干预的因果效应。在τ-bench Retail、ToolSandbox 与 ImpossibleBench 上,复核效果随工具调用类型和智能体状态明显不同,同一数据还能给出按决策分组的风险排序。

  8. aclanthology.org

    智能体规划航天任务有了统一考场:五个系统35个用例,几何与星座设计仍是短板

    AstroAgentBench把航天任务规划变成可执行、可外部核验的智能体评测:七个任务族共116个用例,主评测取每族5个、共35个留出用例,智能体须提交排程、观测或星座设计文件,由独立校验器检查格式、时序、几何、资源与任务价值。五个智能体系统中,Codex CLI + GPT-5.4与Kimi CLI + Kimi K2.6在全部35个用例上通过有效性检查,最强系统在若干任务族接近或超过求解器参考分数,但在区域覆盖与立体成像等几何、产品级和设计密集型任务上仍明显落后。

  9. arXiv

    记忆送进上下文不等于被用上:MemUse 逐条追踪投递,发现多数条目无关、多数相关条目未被采纳

    MemUse 把评估单位从整条任务结果换成单次记忆投递:在 8,000 条 SWE-bench Verified 智能体轨迹上,三种记忆系统的解决率与无记忆基线相差不超过 0.4 个百分点,但逐条判定显示多数投递条目与任务无关,各系统中 51.3%–79.7% 的相关条目未被智能体采纳,且 23.2% 有有益记忆使用的回合仍然失败。

  10. arXiv

    机器学习智能体不必每次都真跑:4B世界模型预测程序结局,17项任务命中77.9%

    AI研究智能体每试一个候选程序都要训练和评估模型,执行成本限制了每步能比较的候选数量。MLE-World 由 Qwen3.5-4B 微调而来,只读代码与数据说明就预测程序的终端输出、异常类型和验证分数,并给出置信度。在17项 MLE-bench Lite 任务的留出程序上,其预测终端输出与真实运行一致的比例为77.9%,提示模型基线为41.1%;以它指导的测试时扩展策略最高比无世界模型的智能体高出22.1%的观测平均表现,同时减少真实执行。