英伟达放出 SkillEvaluator:先给智能体技能做静态质检,再用有无技能的对照跑分
核心概要
英伟达发布 SkillEvaluator,用来检查 AI 智能体技能的质量,并测量技能对任务结果的影响。它先做质量检查,再对比启用与不启用该技能的运行结果;技能是按 Agent Skills 规范定义的指令与配套文件目录。随附的 text-analyzer 示例在静态质量检查中得 88.8/100(B),默认通过阈值为 70,但发布证据仍标记为不完整。
深度剖析
AI 智能体技能现在有了一个专门的检查工具:SkillEvaluator 先对技能做质量检查,再通过对比启用与不启用该技能的运行,测量技能对任务结果的影响。 技能是按 Agent Skills 规范打包的指令与配套文件目录,SkillEvaluator 是英伟达 Verified Skills 流程的一部分,把质量检查与有无技能的对照放进同一条命令行。 随附的 text-analyzer 示例在静态质量检查中得 88.8/100(B),退出码为 0,结果写入 reports/first-quality/skillevaluator-quality.json,默认通过阈值为 70。
工具按层级组织检查,每一层独立,需要时在命令里加上对应的 extra。 第一层在缺失时拉取固定版本、经过校验的 SkillSpector 与 Gitleaks 发布包,Semgrep 为可选项;第二层报告技能间比较是否运行;第三层由 autopilot 复用已有来源或生成一个以技能为依据的用例,覆盖范围有限。 示例的静态检查不需要 API 密钥、扫描器、GPU 或 Docker;rubric-eval 会把技能文档发送给模型并保存反馈,不需要智能体运行时或 Docker,而安全扫描需要扫描器、智能体影响需要实时评估。
启示与展望
公开材料展示的是随附 text-analyzer 示例的静态质量检查结果,以及分层检查的命令行用法;安全扫描需要扫描器,智能体影响需要实时评估,发布证据仍标记为不完整。
材料明确说明静态检查不等于发布证据,发布证据仍为不完整;已完成评估也可能未达到 rubric 阈值;第三层 autopilot 生成的用例覆盖范围有限。
