跳到主要内容
返回时间线
sarvam.ai来源发表:

Sarvam Token Factory 在印度上线:同一套推理栈让 GLM 5.3 Flash 首字最多快 2.1 倍

核心概要

Sarvam 推出 Token Factory,一套部署在印度 GPU 集群上的推理栈,通过一个 OpenAI 兼容接口同时服务自家 Sarvam 105B 与 GLM 5.3、DeepSeek V4.1 Flash、Kimi K3.1 Pro、Gemma 4 31B 等开放权重模型。此前长上下文智能体会话的提示词在 GPU 显存里只留约 4 秒,回访几乎都要重新预填充;Token Factory 用分离式预填充与解码、三层缓存和缓存感知路由来复用上下文。在 GLM 5.3 Flash 上跑 AgentX 编码智能体轨迹时,同一两块 B200 节点上首字比原生 vLLM 与 Dynamo 最多快 2.1 倍,64 并发会话下首字中位数 667 毫秒对 1428 毫秒。

深度剖析

Sarvam 把自家模型和多个开放权重模型放进同一套推理栈,对外提供 OpenAI 兼容接口,并称在多数所服务模型上速度与成本匹配或优于全球主要推理服务商。 Sarvam 给出的比较对象是 Together、Fireworks、DeepInfra 等公开推理服务商,以及 InferenceX 公布的 Kimi K3.1 Pro 结果;这些服务商各自提供其中部分模型。 在 GLM 5.3 Flash 上,用 SemiAnalysis 的 AgentX 编码智能体轨迹、同样两块 B200 节点、两边都做预填充与解码分离,Sarvam 栈在每 GPU 吞吐相同时首字最多早 2.1 倍:64 并发会话下首字中位数 667 毫秒对 1428 毫秒,最慢 1% 为 3.2 秒对 14.1 秒。

长上下文智能体请求被拆成预填充池和解码池,中间靠共享缓存把已经算过的提示词留住,回访时不必从头再读一遍。 预填充一次读完整个提示词、解码逐字生成,两者放在同一块 GPU 上时,每个新到的 10 万 token 编码提示词都会卡住正在解码的会话;GPU 显存里的提示词只保留约 4 秒,负载下约 2 秒。 缓存分三层:GPU 显存、每个预填充服务器都能读的 Mooncake G3 共享存储、以及缓存感知路由与准入控制;在 DeepSeek V4.1 Flash 上,一周生产流量里合计缓存命中率从 91.4% 升到 95.7%,需要重新预填充的 token 减半。

启示与展望

报道范围限于 Sarvam 公布的自家栈测量:延迟与吞吐取自 AWS 孟买客户端、1K 与 10K token 提示词、72 小时中位数,或来自其自有生产流量与回放负载;这些数字描述的是 Sarvam 集群上的表现,不是独立第三方复测。

Sarvam 称在多数所服务模型上速度与成本匹配或优于全球主要推理服务商,但未逐一列出全部模型的对照;Kimi K3.1 Pro 的 1.9 倍每 GPU token 数是在 14 到 48 并发会话区间、与 InferenceX 已公布结果比较得出,96 并发会话下其首字中位数反而略高于对方。