跳到主要内容
返回时间线
NVIDIA/SkillEvaluator来源发表:

英伟达开源SkillEvaluator:智能体技能先过静态质量关,再比有无技能的任务差异

核心概要

英伟达发布开源命令行工具SkillEvaluator,用于检查AI智能体技能并衡量技能对任务结果的影响。技能是按Agent Skills规范组织的指令与配套文件文件夹。工具先做静态质量检查,再对比启用与不启用技能的运行结果;示例技能text-analyzer在质量检查中得86.2/100(B),退出码为0,通过阈值默认为70。该分数只反映静态质量,发布证据仍标记为不完整。

深度剖析

AI智能体的技能现在可以先过一道自动化的静态质量检查,再进入运行层面的效果对比。 静态质量检查只覆盖技能本身,此时发布证据仍标记为不完整,技能对任务结果的影响要留到运行对比环节。 示例技能text-analyzer在质量检查中得到86.2/100(B),退出码为0,通过阈值默认为70,报告保存为JSON文件。

检查通过一条命令行完成,不需要API密钥、扫描器、GPU或Docker即可跑通静态质量环节。 质量检查读取技能目录,按命令行与JSON两种报告格式输出结果。 安装uv与Git后克隆仓库,用uv配置Python 3.13与依赖,即可对示例技能目录执行质量检查。

技能对任务结果的影响需要实际运行智能体才能评估,静态分数不能替代这一环节。 静态质量检查只覆盖技能本身,发布证据在此时仍标记为不完整。 安全评估需要扫描器,智能体影响评估需要实时运行,二者与静态质量检查分属不同层级。

启示与展望

公开材料展示的是对示例技能text-analyzer的静态质量检查,以及安装、CI配置与分层评估的使用路径;安全扫描与智能体运行评估需要额外配置扫描器和沙箱。

静态质量分数不构成发布证据,材料明确发布证据仍为不完整;安全评估依赖扫描器,智能体影响评估依赖实时运行,扫描器无法运行时结果标记为不完整并以非零码退出。