智能体调用工具不再逐字生成:System 1 在1952条请求上全对率93.9%,10888次调用零编造
核心概要
面向临床等敏感数据的智能体通常依赖大语言模型:云端模型把数据送出机构,本地模型则会在工具调用中编造数值,而一个编造值会沿分析流水线悄悄传下去。System 1 智能体把每次工具调用拆成有限选项的多选题,由本地决策模型一次前向传播作答,不生成任何文本。在1952条完整与超范围请求上,最佳 System 1 智能体全对率为93.9%,高于全部18种本地大模型智能体设置(最高91.3%);10888次调用中没有出现编造内容,而大模型智能体调用中有5.5%至19.7%含至少一个编造值。
深度剖析
工具调用智能体可以完全不生成文本,只在一组有限选项里做选择,从而在本地完成影像与生物医学工具调用。 此前的做法是让本地大语言模型逐字写出每次工具调用,因此可能调用不存在的工具、使用工具没有的参数,或填入用户从未给出的值。 在1952条完整与超范围请求上,最佳 System 1 智能体 pplx-decider-27b 的全对率为93.9%(95%置信区间92.7–94.8),最佳大模型设置 Qwen3.5-27B(关闭推理)为91.3%;在108对比较中,System 1 显著领先73对、大模型领先11对、无显著差异24对。
每次调用被拆成若干道多选题,选项来自请求文本、工具的参数模式或智能体自身的策略,模型只输出各选项的概率。 确定性编译器把所选工具的 JSON 参数模式和请求转成问题:枚举在取值中选,布尔在开、关、未提及中选,路径与数字在编译器抽取的候选值中选,缺失的必填值不填而改为向用户提问。 评测覆盖18个 MCP 服务器上的157个工具,包括影像分类、分割、放射组学、AutoML、蛋白质组学、代谢组学、基因组学、单细胞与空间转录组学、临床试验和化学;六个决策模型参数量为40亿至350亿,未做微调,各自在一块 GPU 上通过 llama.cpp 本地运行。
启示与展望
评测在单台工作站的一块48 GB GPU 上本地完成,覆盖18个 MCP 服务器的157个影像与生物医学工具、2126条请求,其中1952条完整与超范围请求构成主基准,174条欠指定请求单独评估;所有推理均未向外部服务发送请求、工具模式或答案。
System 1 智能体并非无错:它们仍会在有据可选的选项间做出错误选择,在10888次调用中有22次把请求中写出的值放进了参数模式要求另一种形式的位置;对“工具有能力但输入类型不符”的超范围请求,所有智能体都最难判断。参数填充上,有五个大模型智能体与最佳 System 1 智能体无显著差异;在欠指定请求中,每个 System 1 智能体有2至6例把缺失的必填值填成了请求中写出的另一个值,这属于选错而非编造。
