跳到主要内容
返回时间线
Ollama来源发表:

智能体不再直接拿API密钥:Ollama云模型接入Fly.io沙箱,密钥留在网关

核心概要

Ollama Cloud 现在可以在 Fly.io Sprites 里调用。Sprites 是每个都带独立磁盘、会话之间保留状态的完整 Linux 虚拟机,原本在里面运行的 Claude Code、Codex、Gemini CLI 等编码智能体需要自己持有模型服务的密钥。新的 Ollama Connector 把密钥加密保存在 Fly.io 组织里,由网关识别是哪个 Sprite 在调用并代为附加密钥,Sprite 内部只知道网关地址和连接 ID,因此沙箱里的智能体拿不到密钥。新连接器默认屏蔽所有 Sprite,需要按标签、名称前缀或全部手动放行,且调用只能从 Sprite 内部发起。

Source-provided article image: Run AI agents safely with Ollama and Fly.io
Ollama

深度剖析

在沙箱里跑的编码智能体可以调用 Ollama 的云端模型,而密钥不进入沙箱。 此前智能体要调用模型服务,就得自己持有可用的 API 密钥。 Claude Code、Codex 和 Gemini CLI 开箱即用,可在沙箱内安全执行命令;连接器页面会给出填好连接 ID 的调用命令。

密钥由 Fly.io 组织保存,请求经网关转发时由网关附加。 网关先判断是哪个 Sprite 发起调用,再把密钥加进请求,Sprite 本身只拿到网关 URL 和一个连接 ID。 Fly.io 对密钥加密且不通过 API 返回;新连接器默认屏蔽所有 Sprite,可按标签、名称前缀或全部放行,调用只能从 Sprite 内部发起。

接入方式沿用现有 SDK 和命令行习惯,不需要为智能体单独改造。 任何 OpenAI SDK 都能用,把 base_url 指向网关、api_key 填任意值即可,Ollama 原生的 /api/* 路由也走同一网关。 Sprites 自带一项技能,向 Claude Code、Cursor、Codex 和 Gemini CLI 说明 Ollama;若该 Sprite 有访问权限,智能体无需额外配置即可使用 Ollama 模型。

启示与展望

面向在 Fly.io Sprites 中运行编码智能体、并希望使用 Ollama 云端模型的开发者。使用前提是拥有 Ollama API 密钥和至少一个 Sprite,并在 Fly.io 控制台的 Sprites、Connectors 中添加 Ollama 连接器、配置可访问的 Sprite 并保存,再用 Test reachability 检查可达性。

新连接器默认屏蔽所有 Sprite,访问需要按标签、名称前缀或全部显式放行;调用只能从 Sprite 内部发起。密钥由 Fly.io 加密保存且不通过 API 返回,Sprite 内部只持有网关 URL 和连接 ID。