跳到主要内容
返回时间线
AI来源发表:

Gemini Decisions API 把选择题做成一次前向打分:多模态输入、最多1000个问题,端到端150-250毫秒

核心概要

Google 推出 Gemini Decisions API 与 gemini-decision-1 模型,面向工具选择、策略检查、模型路由和上下文分级这类封闭集合决策。它不再逐 token 生成答案文本,而是在一次前向计算中给候选选项打分并返回概率与置信度,单次请求可携带文本、图像、音频、视频和 PDF 组成的共享输入(最多 256K token)以及最多 1000 个独立问题。官方给出的端到端延迟为 150-250 毫秒,输入定价每百万 token 0.10 美元、输出 token 不计费。

Source-provided article image: Gemini Decisions API: Fast, calibrated multimodal decisions
Google AI 与 Gemini 产品博客

深度剖析

Gemini Decisions API 让调用方把一组有界选项连同多模态输入一起提交,直接拿回每个候选的概率和 0 到 1 的置信度,而不是让模型逐 token 写出答案。 此前的生成式调用需要解码答案文本,输出 token 计入账单,延迟随生成长度增长;新接口把决策变成对候选集合的打分。 官方给出的端到端延迟为 150-250 毫秒,其中模型计算中位数为 50-100 毫秒,覆盖多模态输入和最长 16K token 的上下文,并且在每次请求 1 到 100 个问题时基本持平。

一次请求可以同时评估多个问题,并混合是/否判断、多选和有序评分三种题型。 三种决策类型共享同一份输入,输入按请求计费一次,每个问题只额外增加自身的指令和标准 token。 是/否题型返回条件成立的概率,可附带真、假两侧的描述标准;多选题在 2 到 255 个候选中返回胜者及全部候选的归一化概率;评分题按从 0 开始的有序标准返回连续加权分数和各档概率。

在覆盖智能体路由、推理、排序和多模态理解的基准套件上,Gemini Decision 1 领先整套测试,并取得最低的校准误差。 官方同时给出成本对照:在共享基准套件上,Gemini Decision 1 配合 Decisions API 比 Gemini 3.5 Flash-Lite 配合 Interactions API 便宜近 5 倍。 这一成本差距来自输出 token 不计费,输入定价为每百万 token 0.10 美元;Google 内部团队已把它当作低延迟控制面使用,例如 Gemini Notebook 用它做实时路由,官方称日常查询延迟最多降低 40%。

启示与展望

报道范围限于 Google 公布的接口能力、定价和内部使用情况,面向需要低延迟有界决策的智能体与产品工程师;官方给出的延迟数字对应多模态输入和最长 16K token 的上下文。

官方称 Gemini Decision 1 在基准套件上领先并具有最低校准误差,但未在材料中给出各基准的具体分数或误差数值;延迟数字对应 16K token 以内的上下文,更长上下文下的表现未在材料中说明。