跳到主要内容
返回时间线
mastra.ai来源发表:

Mastra 智能体可接自托管开源模型:私有网关把请求留在本机,绕开第三方

核心概要

Mastra 推出私有模型网关,让智能体请求可以路由到自托管的开源权重模型。此前使用托管服务商时,数据会离开自有网络,HIPAA 或 GDPR 合规会变复杂,除非事先签好数据留存协议;现在只需给网关一个自定义 ID,就能在智能体配置里以 private/ollama/gpt-oss:20b 这样的前缀调用本地模型。自托管去掉了第三方,成本只计基础设施而非按 token 计费,并可用环境变量隐藏外部服务商。

深度剖析

Mastra 智能体现在可以把模型请求发往自托管的开源权重模型,而不是只能走托管服务商。 此前使用托管服务商时,数据会离开自有网络,HIPAA 或 GDPR 合规会变复杂,除非事先签好数据留存协议。 自托管去掉了第三方,使敏感数据不再到达网络之外的模型;成本也可能降低,因为只付基础设施费用而不按 token 付费。

做法是定义一个自定义模型网关,由它接管每一次模型调用。 网关需要提供自定义 ID、显示名,以及返回所提供模型列表的 fetchProviders()、返回调用基础地址的 buildUrl()、返回每次调用所用密钥的 getApiKey() 和创建语言模型的 resolveLanguageModel()。 示例把网关指向本机 Ollama 服务,其 OpenAI 兼容接口位于 http://localhost:11434/v1,模型以 [gatewayId]/[provider]/[model] 形式引用,例如 private/ollama/gpt-oss:20b。

启示与展望

这套配置面向使用 Mastra 智能体并希望自托管模型的开发者,示例场景是本机运行的 Ollama 服务与 gpt-oss:20b 模型。

合规与成本方面的表述以条件形式给出:托管服务商在存在数据留存协议时合规问题会缓解,成本则只是可能降低。