跳到主要内容
返回时间线
AI来源发表:

Gemini API 上线工具检索:智能体挂几百个工具,参数模式按需加载

核心概要

Gemini API 在 Interactions API 预览版中推出工具检索,让智能体保留完整工具库,只在当前任务需要时才加载参数模式。此前每次请求都要发送全部工具的完整参数模式,工具一多就推高输入 token、增加延迟,并随候选列表变长而降低工具选择准确率。开启后模型仍能看到每个延迟加载工具的名称和描述,需要时按名请求,API 在同一次请求内加载完整模式并完成函数调用。

Source-provided article image: Introducing Tool Retrieval in the Gemini API
Google AI 与 Gemini 产品博客

深度剖析

Gemini API 新增工具检索,智能体可以把大量工具的参数模式留在待命状态,只在当前任务用到时载入上下文。 此前智能体连接几十甚至上百个工具时,每次请求都要发送每个工具的完整参数模式,输入 token 数随之膨胀、延迟增加,候选列表变长还会降低工具选择准确率。 官方给出的机制对照是:延迟加载的工具仍向模型暴露名称和描述,但参数模式不进入上下文,因此模型知道有哪些工具可用,却不必为每个工具付出模式 token。

开启方式是在请求中加入一个 tool_search 工具,并在想暂缓加载的工具上设置 defer_loading: true。 模型需要某个工具时按名称请求,API 加载完整模式,模型随即发出函数调用,三步都发生在同一次 API 调用内。 官方示例中,模型先搜索 issue_refund,API 返回其模式,模型再发出带 order_id 与 amount 的函数调用,这三步依次出现在 interaction.steps 里,便于排查工具名称或描述的问题。

检索在 Gemini 服务端运行,开发者不需要自建或托管索引,代码改动只有新增的工具和延迟加载标志。 常用工具可以保持前置加载,长尾工具延迟加载;延迟的模式不占据提示开头,模型加载的模式在对话较后位置加入,因此前缀缓存从一轮到下一轮保持不变。 官方说明工具检索对 Gemini API 中的远程 MCP 服务器同样适用,在 mcp_server 工具上设置 defer_loading: true 后,该服务器暴露的每个工具都按需加载,无需逐个列出。

启示与展望

该功能在 Interactions API 中以预览形式提供,适用于 Gemini 3.6 及之后版本,包括全部 Gemini 4 模型;官方建议开发者用自己的流量测量节省效果。

官方未给出工具选择准确率或延迟改善的量化数据,并明确节省取决于未加载的模式是否多于已加载的模式,需按自身流量测量;客户端检索每次搜索会多一次往返。