跳到主要内容
返回时间线
arXiv来源发表:

提示词优化不再整段重写:Splice锁死合同条款,七个基准上四个胜出、三个持平

核心概要

Splice把自然语言提示词优化改写成在分块编辑图上的受限组合搜索:安全条款、工具模式、输出格式等区块被标记为不可变,任何编辑都无法触及,长度增长则按比例计罚。在七个公开基准、五套原样复现的评测协议下,Splice在四个基准上胜出、在三个上与最强先前方法持平;在合同压力测试中,不受约束的优化器会改掉那些牺牲分数换指标的条款,而冻结文本并不等于冻结行为。

Source-provided article image: SPLICE: Structured Prompt Local Iterative Combinatorial Evolution
arXiv

深度剖析

提示词优化从改写一整段字符串,变成在分块状态上做带约束的搜索:每个区块单独标记可变或不可变,不可变区块的文本在整轮优化中逐字保留。 此前的迭代式自然语言优化把提示词当作单一可编辑字符串,于是出现三类反复发生的失败:全局改写破坏安全条款、候选群体坍缩到同一条谱系、以及无人计价的文本膨胀。 在SST-5加gemma-3-27b-it的七条款合同压力测试中,冻结合同的Splice候选修改率为零,而全可变、单块可编辑和“禁止编辑”指令三种可编辑设置分别改动了合同条款。

搜索循环由三件事驱动:批评智能体给出分区块的正负文本梯度,提议者据此只在可变区块上采样编辑,选择器保留父代并预留多样性槽位。 分区块的批评让更新能落到具体区块,而不是给整段提示词一个笼统的方向;保留父代则让当前领先者的验证分数不会下降。 在七个公开基准上按五套已发表协议原样复现,Splice在SST-5、AIME-2025、GSM8K和BBH上胜出,在ARC-Challenge、GPQA-Diamond和PUPA上与最强先前方法持平,其中AIME-2025上对GEPA的领先最大。

冻结合同条款的代价被写成一个界:冻结带来的损失不超过被冻结区块各自最佳单块增益之和乘以一个与子模比有关的因子。 此前没有把“哪些区块不许改”当作搜索空间的性质,也没有说明这种限制要付多少代价。 合同压力测试给出了这一代价的实测一端:遵守会牺牲分数的条款让可编辑设置在代理指标上领先约十个百分点,却在合同感知目标上落后约十个百分点。

启示与展望

演示范围是七个公开基准上的提示词优化,外加一个在SST-5与gemma-3-27b-it上构造的七条款合同压力测试;理论结果在缓存打分、有界奖励、独立同分布批次以及提议者覆盖条件等明确假设下成立。

保证是条件性的:提议覆盖条件只影响收敛速率,条件不成立时搜索停滞而非退步;终局质量结果依赖子模比,而该量没有逐基准估计。冻结只保住合同文本,不保住其效果——未优化的种子提示词在触发样例上的合规率高于冻结合同的优化结果,因此冻结区块仍需行为审计。