Hugging Face 把语言模型推理路由交给 OpenRouter:同一令牌可调 Hub 上开放权重模型,失败自动换供应商重试
核心概要
Hugging Face 把语言模型请求的推理路由从自建路由器换成 OpenRouter,用户仍用同一个 Hugging Face 令牌和同一套 API 调用 Hub 上由供应商服务的开放权重模型。OpenRouter 按实时价格、速度和可靠性为每次请求挑选供应商,首个供应商失败时在同一次调用内改投下一家;此前 Inference Providers 只选一家供应商,失败即返回错误。图像、视频和音频生成仍走 Hugging Face 自己的推理通道,不经过 OpenRouter。
深度剖析
语言模型的推理请求现在由 OpenRouter 的路由器分发,而不是 Hugging Face 自建的路由器,调用方代码不需要改动。 此前 Inference Providers 为一次请求选定一家供应商,该供应商失败时就把错误返回给调用方。 OpenRouter 称其重建后的路由按价格、速度和可靠性的综合表现分配流量,供应商变慢或开始失败时流量会移走,直到其恢复;按 OpenRouter 的测量,新路由把容量错误减少 46%,首令牌时间改善 16.9%,吞吐改善 16.3%。
路由会记住对话的提示缓存落在哪家供应商,并把该对话继续留在那里,从而避免缓存失效。 要让这一行为显式生效,需要在 X-HF-Session-Id 请求头里为每个对话发送一个稳定的 UUID。 模型页新增 Providers 和 Metrics 两个标签页,分别列出 OpenRouter 可路由到的每家供应商及其过去 24 小时的输入输出价格、速度和可用率,以及这些供应商中的最优价格、吞吐、首令牌时间、上下文长度和可用率。
调用方仍可用模型 id 后缀指定策略或具体供应商,例如 :fastest 取最高吞吐、:cheapest 取最低价格、:novita 只用 Novita。 语言模型请求改由 OpenRouter 承载并计入 Hugging Face 账户或组织账单,因此这些模型不再支持使用调用方自己的供应商 API 密钥。 图像和视频供应商的自定义密钥继续可用;图像、视频和音频生成仍直接通过 Hugging Face Inference Providers 完成,不经过 OpenRouter。
启示与展望
这次变更针对 Hub 上由供应商服务的开放权重语言模型请求;图像、视频和音频生成仍直接走 Hugging Face Inference Providers,自定义密钥在这些模态上继续有效。Hugging Face 称这是与 OpenRouter 合作的第一步,后续将支持把 OpenRouter 账户连接到 Hugging Face,并让更多任务经由 OpenRouter 路由。
路由效果数字(容量错误减少 46%、首令牌时间改善 16.9%、吞吐改善 16.3%)是 OpenRouter 在其自身流量上的测量结果。开放权重模型在 OpenRouter 上的份额从 2025 年 10 月的 26.8% 升到 2026 年 9 月底的 71.7%,其间 7 月达到 77.5% 的峰值;这些是 OpenRouter 平台上的统计,不是对所有部署的估计。
