智能体写代码为何烧钱:同一任务重复运行,token 用量最多差 30 倍
核心概要
在 SWE-bench Verified 上,八个前沿模型经 OpenHands 智能体框架跑完 500 个真实 GitHub 问题,每个问题独立运行四次。智能体编码任务的 token 消耗约为单轮代码推理任务的 3500 倍、多轮代码对话任务的 1200 倍,且成本主要由反复回灌的输入 token 而非输出 token 驱动。同一问题的不同运行之间 token 用量差异显著,最贵一次约为最便宜一次的 2 倍,而更高的 token 花费并不对应更高准确率。
深度剖析
智能体编码任务的 token 开销远高于普通代码任务,且钱主要花在输入侧。 此前的代码推理与代码对话任务通常只涉及单轮求解或多轮讨论,不包含工具调用与仓库探索。 在 SWE-bench Verified 的 500 个问题上,智能体编码平均消耗约 3500 倍于单轮代码推理、1200 倍于多轮代码对话的 token,输入/输出比也显著更高,即使启用 token 缓存仍然如此。
智能体在每一轮把完整对话历史原样带入下一轮,历史上下文被反复送入模型,输入 token 因此随轮次累积。 OpenHands 智能体框架让模型自主读仓库、调工具、执行命令,直到任务结束,全程无人工干预。 八个前沿模型(Claude Sonnet-3.7、Sonnet-4、Sonnet-4.5、GPT-5、GPT-5.2、Qwen3-Coder-480B-A35B-Instruct、Kimi-K2、Gemini-3-Pro)各在 500 个问题上运行四次,所有 token 指标取四次运行的平均值。
token 花费高并不等于解题更准,最贵的运行往往伴随重复查看和重复修改同一文件。 按 token 成本把同一问题的四次运行分为最低、较低、较高、最高四档后,准确率从最低档到较低档略有上升,随后在高成本档饱和。 混合效应回归显示,较高与最高成本档的重复文件查看和重复文件修改频率显著高于最低成本档,说明部分高成本运行是低效的来回探索。
启示与展望
结论建立在 OpenHands 智能体框架与 SWE-bench Verified 的 500 个真实 GitHub 问题之上,每个问题对八个前沿模型各运行四次;作者指出模型覆盖面仍只是智能体模型版图的一部分,并公开实验流程以便后续复现和扩展。
作者说明受算力成本限制只纳入八个模型,更广架构与智能体设计的验证尚未完成;执行前自预测与真实用量的相关性仅为弱到中等(最高 0.39),且所有模型都系统性低估实际 token 消耗,实例级精确预测仍属未解问题。
