Sarvam Token Factory 在印度上线:同一套推理栈让 GLM 5.3 Flash 首字最多快 2.1 倍
Sarvam 推出 Token Factory,一套部署在印度 GPU 集群上的推理栈,通过一个 OpenAI 兼容接口同时服务自家 Sarvam 105B 与 GLM 5.3、DeepSeek V4.1 Flash、Kimi K3.1 Pro、Gemma 4 31B 等开放权重模型。此前长上下文智能体会话的提示词在 GPU 显存里只留约 4 秒,回访几乎都要重新预填充;Token Factory 用分离式预填充与解码、三层缓存和缓存感知路由来复用上下文。在 GLM 5.3 Flash 上跑 AgentX 编码智能体轨迹时,同一两块 B200 节点上首字比原生 vLLM 与 Dynamo 最多快 2.1 倍,64 并发会话下首字中位数 667 毫秒对 1428 毫秒。