智能体不再直接拿API密钥:Ollama云模型接入Fly.io沙箱,密钥留在网关
核心概要
Ollama Cloud 现在可以在 Fly.io Sprites 里调用。Sprites 是每个都带独立磁盘、会话之间保留状态的完整 Linux 虚拟机,原本在里面运行的 Claude Code、Codex、Gemini CLI 等编码智能体需要自己持有模型服务的密钥。新的 Ollama Connector 把密钥加密保存在 Fly.io 组织里,由网关识别是哪个 Sprite 在调用并代为附加密钥,Sprite 内部只知道网关地址和连接 ID,因此沙箱里的智能体拿不到密钥。新连接器默认屏蔽所有 Sprite,需要按标签、名称前缀或全部手动放行,且调用只能从 Sprite 内部发起。
深度剖析
在沙箱里跑的编码智能体可以调用 Ollama 的云端模型,而密钥不进入沙箱。 此前智能体要调用模型服务,就得自己持有可用的 API 密钥。 Claude Code、Codex 和 Gemini CLI 开箱即用,可在沙箱内安全执行命令;连接器页面会给出填好连接 ID 的调用命令。
密钥由 Fly.io 组织保存,请求经网关转发时由网关附加。 网关先判断是哪个 Sprite 发起调用,再把密钥加进请求,Sprite 本身只拿到网关 URL 和一个连接 ID。 Fly.io 对密钥加密且不通过 API 返回;新连接器默认屏蔽所有 Sprite,可按标签、名称前缀或全部放行,调用只能从 Sprite 内部发起。
接入方式沿用现有 SDK 和命令行习惯,不需要为智能体单独改造。 任何 OpenAI SDK 都能用,把 base_url 指向网关、api_key 填任意值即可,Ollama 原生的 /api/* 路由也走同一网关。 Sprites 自带一项技能,向 Claude Code、Cursor、Codex 和 Gemini CLI 说明 Ollama;若该 Sprite 有访问权限,智能体无需额外配置即可使用 Ollama 模型。
启示与展望
面向在 Fly.io Sprites 中运行编码智能体、并希望使用 Ollama 云端模型的开发者。使用前提是拥有 Ollama API 密钥和至少一个 Sprite,并在 Fly.io 控制台的 Sprites、Connectors 中添加 Ollama 连接器、配置可访问的 Sprite 并保存,再用 Test reachability 检查可达性。
新连接器默认屏蔽所有 Sprite,访问需要按标签、名称前缀或全部显式放行;调用只能从 Sprite 内部发起。密钥由 Fly.io 加密保存且不通过 API 返回,Sprite 内部只持有网关 URL 和连接 ID。
