跳到主要内容
返回时间线
OpenRouter Blog来源发表:

OpenRouter 的路由接管 Hugging Face 推理:160 个模型自动选价、选速、选稳定

核心概要

Hugging Face 上的聊天模型推理现在由 OpenRouter 的提供商路由驱动,按实时价格、速度和可靠性为每次请求挑选服务商,并支持故障自动切换。此前开发者需要自己在多个服务商之间做选择。OpenRouter 称其十月重建路由时的在线实验测得容量错误请求减少 46%、首 token 时间快 16.9%、吞吐高 16.3%,代价是每次请求成本高 6.0%。目前以这种方式提供 160 个模型,来自 38 个实验室。

Source-provided article image: OpenRouter Now Powers Inference on Hugging Face
OpenRouter

深度剖析

在 Hugging Face 上调用聊天模型时,服务商的选择不再由开发者手动决定,而是由 OpenRouter 的提供商路由按每次请求的实时价格、速度和可靠性自动完成,开发者现有的 Hugging Face token 和代码无需改动。 此前同一个 Hugging Face 聊天模型可能由多个服务商提供,选哪一家需要开发者自己权衡。 OpenRouter 称其十月重建路由时的在线实验测得容量错误请求减少 46%、首 token 时间快 16.9%、吞吐高 16.3%,对应每次请求成本高 6.0%,并称 Hugging Face 上的构建者现在获得同一套路由。

路由还带自动故障切换:某个服务商变慢或开始出错时,请求会转到其他服务商,出错则在同一次调用内换下一家重试。 开发者可以用模型 ID 后缀如 :fastest、:cheapest 或服务商名来指定优先项,请求可走 OpenAI 的 Chat Completions 与 Responses API 或 Anthropic 的 Messages API。 同一段对话会留在持有其提示缓存的提供商上;每个模型页新增 Providers 标签,显示各服务商的实时价格、速度与在线率,并可查看按服务商的支出、关闭不想用的服务商。

集成是双向的:OpenRouter 可以把每次请求的轨迹写入用户自己的 Hugging Face Storage Bucket,每个文件包含输入消息、模型输出、token 计数和成本,图像等媒体不写入。 这些文件可作为在开放权重模型上构建评测集或微调运行的原始素材,并可按日期或 API key 组织。 该 Broadcast 目标处于 beta;目前以这种方式提供 160 个来自 38 个实验室的模型,即 OpenRouter 所服务且在 Hub 上有页面的全部模型,其中包括 DeepSeek V4.1 Flash、Kimi K3.1 Pro 与 K3、GLM 5.3 与 5.3 Flash、Qwen3.8 27B、MiniMax M3.1 Flash、MiMo-V2.6-Flash、Nemotron 3 Ultra 和 gpt-oss-120b。

启示与展望

已展示的范围是 Hugging Face Inference Providers 上的聊天模型推理路由,以及把请求轨迹写入用户自有的 Storage Bucket;轨迹写入功能标注为 beta,且不包含图像等媒体。

路由的性能数字来自 OpenRouter 对十月重建路由所做的一次在线实验,材料未说明该实验的模型、流量规模或统计方式;轨迹写入仍处于 beta。