跳到主要内容
返回时间线
NVIDIA/SkillEvaluator来源发表:

NVIDIA 推出 SkillEvaluator:合并前先查智能体技能,6 个运行环境里 2 个加载失败

核心概要

NVIDIA 发布 SkillEvaluator,用于在合并前检查 AI 智能体技能与插件,并衡量技能对任务结果的影响。它把质量、模式、版本、PII、许可证、Unicode、脚本检查与运行环境兼容性检查放进同一套命令行流程,再按需比较有技能和无技能的运行。示例输出显示,6 个运行环境中有 2 个未能加载同一技能,其中一个因描述超出 1024 单位上限而被拒。

AI-generated editorial illustration: NVIDIA / SkillEvaluator

深度剖析

AI 智能体的技能现在可以在合并进仓库之前接受自动检查,检查对象是技能文件夹本身,而不是等智能体运行出错后再回头排查。 此前的做法是让智能体直接加载技能、在任务中暴露问题;SkillEvaluator 把这一步前移到提交阶段,并给出技能是否被各运行环境加载的逐项结果。 示例输出对同一个技能列出 6 个运行环境:opencode、hermes、openclaw 加载成功,claude-code 因不扫描 .agents/skills 未加载,copilot-cli 因描述为 1028 个 UTF-16 单位、超出 1024 上限而未加载,codex 则因描述被截断到 1021 字符加省略号而降级,合计 2 个未加载。

工具把检查分成三层,第一层不需要 API 密钥、扫描器、GPU 或 Docker,直接在终端打印百分制分数、等级和对应的问题条目。 第一层把运行环境兼容性检查与质量、模式、版本、PII、许可证、Unicode 和脚本检查并列;安全与代码完整性检查交给 SkillSpector、Gitleaks、Bandit 和可选的 Semgrep,依赖审计用 pip-audit。 质量检查的通过阈值默认为 70 分,且该分数只代表静态质量,发布证据仍标记为不完整,安全与智能体影响需要额外检查;接入 CI 后可在 GitHub 或 GitLab 上对变更的技能执行 11 项检查,这些检查由 500 多条静态规则和检测模式支撑。

启示与展望

演示范围限于按 Agent Skills 规范组织的技能文件夹,通过命令行、CI 或智能体调用;示例输出是带版本信息的摘要,完整输出还可能包含注释和模式诊断。安装环境为 Python 3.12 至 3.14,第三层评估需要 Docker 运行。

质量检查给出的分数只反映静态质量,发布证据仍标记为不完整,安全与智能体影响需要额外检查才能覆盖。分数可能随版本变化,示例输出也被说明为带版本信息的摘要。