跳到主要内容
返回时间线
arXiv来源发表:

自主研究循环的轮间决策交给大模型:BRED只读冠军方案与全轨迹,就在四项任务上超过已发表系统

核心概要

自主研究系统每轮实验后都要决定是改进当前最优方案还是另起方向,此前这类决策多由规则、评分或搜索树固定。BRED把这一“轮间决策”交给一次大模型调用,只保留已验证的最优方案(冠军)和逐轮日志,不加搜索结构。在ETTh1、SST-2、CIFAR-100三项基准任务上,其最终冠军指标优于已发表系统,也优于用同一批模型重跑的InternAgent;在无泄漏协议下的语音抑郁检测任务上,留出种子上的宏F1高于最强已发表系统。

Source-provided article image: The Between-Round Decision in Autonomous Research: An LLM Controller That Reads the Whole Trajectory
arXiv

深度剖析

自主研究循环中每轮实验后的“轮间决策”——是改进当前最优解还是换方向、从哪个解出发、下一轮设什么目标——现在可以由一次大模型调用直接做出,不需要在它周围搭搜索树、评分规则或调度表。 此前的系统把这一决策交给硬编码策略、UCT变体、随预算收紧的评分规则或预先固定的开发比例调度,也有系统让大模型在已运行的节点中挑选,但大模型需要读多少证据一直没有被单独考察。 在ETTh1、SST-2、CIFAR-100三项基准任务上,最终冠军的MAE与准确率均优于已发表结果,也优于用同一批模型重跑的InternAgent。

控制器每轮只维护两个对象:冠军是迄今验证过的最优解,连同代码、指标和一句机制摘要;日志每轮一条,记录所做决策、各候选结果和一条只陈述实测事实的经验。 决策时一次大模型调用同时读取冠军与完整日志,输出动作、目标级指令、可选硬约束和理由;动作限定为从基线开新线、在冠军上叠加新机制、不引入新机制地精修冠军,或停止。 在ETTh1与CIFAR-100上只改变决策步能看到多少历史,无历史、只看上一轮、读完整历史三档设置下,性能随可见证据增多单调提升,完整控制器在两任务上均最好。

启示与展望

演示范围是四项任务:ETTh1时间序列预测、SST-2情感分类、CIFAR-100图像分类,以及基准之外的DAIC-WOZ语音抑郁检测;四项任务共用同一控制器与提示模板,只有任务配置和执行环境不同。语音抑郁检测的结果按无泄漏协议在未参与选择的五个种子上测得,作者明确说明该模型是用于比较控制器的研究产物,不是筛查或诊断工具。

所有运行只用一个控制器大模型,其决策质量随其他模型如何变化尚未测量;消融只覆盖两项任务,能说明收益随上下文增长,但没有拆分累积证据中哪一部分贡献最大。日志中的经验由大模型撰写,虽被限制为事实陈述,一条错误的经验仍会影响后续决策。Dolphin的数字取自其他模型与其他硬件下的结果。