跳到主要内容
返回时间线
Vercel News来源发表:

Vercel 的 AI Gateway 接入私有推理:自托管与微调模型改用同一套密钥、SDK 和日志

核心概要

Vercel 的 AI Gateway 新增 Private Inference,把企业自托管、微调或预发布模型作为私有提供方接入网关。此前这类模型需要单独的密钥、客户端代码和日志,如今它们与目录模型共用同一套认证、SDK、API 和可观测性,调用时只需把模型 ID 换成 private/<slug>,请求由网关翻译成端点自身的格式。私有模型仅对本团队可见、不进入公开目录,凭证加密存储,并可按提供方开启零数据保留。

Source-provided article image: AI Gateway now supports Private Inference
Vercel

深度剖析

企业自托管、微调或预发布模型现在可以走 AI Gateway 的同一套认证、SDK、API 和可观测性,团队使用的每个模型集中在一处管理。 此前这类模型需要单独的密钥、客户端代码和日志,与目录模型分开维护。 接入后私有模型请求与目录模型请求一同出现在 AI Gateway 日志中,可观测性图表按私有模型拆分请求数、token 数和首 token 时间。

私有模型通过 Chat Completions、Responses 或 Messages 调用,网关把每个请求翻译成端点自身的格式,因此在私有模型与目录模型之间切换只改变模型 ID。 调用方式沿用现有接口,模型以 private/<slug> 形式的 ID 指定,例如 private/support-fine-tune。 接入步骤是添加端点作为私有提供方,填入 base URL、选择 API 格式并添加凭证,再登记该端点提供的模型;也可用 Vercel CLI 65.16.0 或更高版本注册提供方与模型。

私有模型只对所属 Vercel 团队可见和可调用,不列入公开目录,凭证加密存储,并可按提供方开启零数据保留。 访问范围与凭证管理由网关统一约束,而不是由各端点自行处理。 私有端点失败时可选择回退到目录模型,例如在请求的 gateway 选项中指定 models 列表。

启示与展望

该能力面向在 Vercel 团队下运行自托管、微调或预发布模型的企业用户,通过网关页面或 Vercel CLI 65.16.0 及以上版本登记端点与模型;支持的模型类型、要求和计费细节需查阅 Private Inference 文档。

私有模型不列入公开目录,仅所属团队可见和可调用;零数据保留需按提供方开启,端点失败时的目录模型回退是可选项而非默认行为。