跳到主要内容
返回时间线
arXiv来源发表:

STaSBO让大模型只做策略调度:22个基准上平均排名2.17与2.60,超过最强基线

核心概要

贝叶斯优化的效果高度依赖代理模型与采集函数的搭配,而固定搭配难以跨问题迁移。STaSBO把这一搭配选择交给大语言模型做在线元控制:先规划搜索意图,再结合拟合证据与候选点诊断联合挑选配置,数值贝叶斯优化仍负责建模与生成候选。在12个合成数学任务和10个科学工程任务上,其平均排名为2.17和2.60,各自优于对应套件中最强基线的4.08和4.10。

Source-provided article image: STaSBO: LLM-Guided Strategy Planning and Configuration Selection for Bayesian Optimization
arXiv

深度剖析

大语言模型不再直接给出下一个试验点,而是充当贝叶斯优化的高层调度器,决定这一轮搜索该追求什么行为、以及用哪套代理模型与采集函数去实现。 此前的做法要么让大模型直接根据问题描述和历史观测提出候选点,要么只调整单个部件,例如在固定采集规则下演化核函数,或在固定代理模型下挑选采集函数。 在12个合成数学任务与10个科学工程任务上,每次运行共50次目标评估,STaSBO的平均任务排名为2.17和2.60,对应套件中最强基线分别为4.08和4.10。

控制器把搜索意图与配置选择分成两步,使策略在选配置之前就被明确写出来,并能在后续迭代中被保留或修改。 配置是否合适取决于问题与当前优化状态,固定配置在源问题上的优势并不能保证迁移到目标问题。 在Ackley、Levy、Rastrigin的5维与15维共六个设置上,30个固定配置各自的最优搭配互不相同,Ackley-5维的最优配置在Ackley-15维上仅排第26位。

决策记忆把先前的计划、所选配置、候选点行为和观测结果串成一条反馈链,让控制器能区分“候选行为是否符合计划”与“目标值是否真的改善”。 只看目标值是否下降,无法判断一次探索性移动是否按预期执行,也就难以决定下一步该延续还是转向。 在Ackley-8维的一次记录中,第27次迭代的中间移动符合计划但未改善当前最优,第28次迭代改用各向同性Matérn核配EI后,当前最优的遗憾从12.35降到11.24。

配置筛选先用代理模型的拟合证据缩小范围,再用尚未评估的候选点诊断比较各配置实际会提出的动作。 仅凭静态的配置说明看不出某个配置在当前观测下会把点提在哪里,因此需要把数值证据带进选择环节。 消融实验在Ackley-8维、十个随机种子上进行,完整STaSBO的平均最终简单遗憾为8.25,各变体在9.47至13.89之间。

启示与展望

演示范围是12个合成数学任务与10个科学工程任务,统一使用五次初始观测加45次迭代、共50次目标评估的预算,所有基于大模型的方法均使用同一模型与推理强度。九个应用目标是由存档实验测量插值得到的确定性函数,Lunar Lander则来自模拟器,均不涉及真实实验执行。

配置切换的收益依赖问题、切换时机与目标配置:在Levy-15维上,第30次迭代后切换的29个备选中20个优于参考配置,而在Rastrigin-5维上第15次迭代后切换有13个改善、第30次迭代后只有8个,且两组切换的平均最终遗憾都高于参考。配置选择模式是对全部任务聚合后的描述,并不构成每个任务通用的调度表。