跳到主要内容
返回时间线
arXiv来源发表:

智能体在长任务里自己改工具:BoxBox 在 PerfRace 上把最佳正确加速比做到 1.702

核心概要

长时性能优化任务中,智能体能否在任务进行时改写自己的执行框架(harness,决定可用动作与所收观察的代码),此前只能靠离线优化后固定复用。BoxBox 让智能体主动请求审查、由独立内核热重载新框架并保留执行上下文;在 100 个真实软件项目任务构成的 PerfRace 上,四小时预算内最佳正确加速比达 1.702,高于冻结框架的 1.442、离线框架演化的 1.281 和外部控制框架缩放的 1.539。

Source-provided article image: BOXBOX: Recursive Harness Self-Improvement for Long-Running Performance Optimization
arXiv

深度剖析

智能体可以在任务进行中改写自己的执行框架,而不必沿用离线优化后固定下来的版本。 离线框架演化先用训练任务的参考反馈修改框架,再固定用于测试任务;在 PerfRace 上,它的最佳正确加速比为 1.281,低于始终不修改框架的冻结框架的 1.442。 在 50 个留出测试任务、每个任务三次独立运行、共享四小时预算的条件下,BoxBox 的最佳正确加速比为 1.702,高于冻结框架 1.442、离线框架演化 1.281 和外部控制框架缩放 1.539。

改写由任务求解智能体自己发起,内核负责安全切换,任务上下文不丢失。 此前的在线方法由外部控制器在两次尝试之间安排框架修改,修改只能等到当前执行段结束才生效。 智能体调用 boxbox() 后,内核暂停任务、保留轨迹、终端会话与工作区,启动审查会话修改框架;验证通过则加载新运行时并转移上下文,失败则保留或恢复旧运行时。在 14 个随机抽取的测试任务上,去掉智能体触发(改为每 30 分钟定时审查)的变体加速比为 1.508、平均模型成本 21.58 美元,低于完整 BoxBox 的 1.584 与 15.07 美元。

启示与展望

演示范围是 PerfRace 的 50 个留出测试任务:真实 GitHub 软件项目配固定工作负载,智能体在四小时共享预算内做保持正确性的性能优化,全部方法从 Terminus-KIRA 初始框架出发并使用 GPT-5.6 Luna 高推理强度。评测在隔离研究环境中进行,框架更新经内核验证与回滚,任务评分走独立影子容器验证。

离线框架演化在训练与验证阶段都没有稳定提升,选出的框架在测试任务上低于冻结框架;作者将其归因于难以识别有效修改与跨任务泛化有限。智能体修改可执行框架代码本身带来安全与责任风险,内核验证与回滚、影子验证降低实验风险,但不构成完整安全边界,作者明确把 BoxBox 定位为研究原型而非可投产的自修改智能体框架。