科学反馈也能改权重编辑方案:HypoLoop在Burgers上把相对误差从0.040194降到0.016559
核心概要
科学预测模型在实验推进中会不断暴露新的预测误差,而此前的权重编辑往往固定同一批参数、同一套拟合目标。HypoLoop把“改哪些权重”和“误差怎样驱动修改”都交给实验反馈来修订:由固定、数值自适应或大模型引导的策略给出编辑方案,数值求解器算出权重补丁,内部验证挑选部署的预测器。在Burgers任务上,保持可编辑坐标预算不变、只重新分配位置,DeepSeek与Claude下相对误差分别从0.040194降到0.016559、从0.030975降到0.016195。
深度剖析
权重编辑不再沿用一套固定的参数位置和拟合目标,而是随每一轮实验反馈重新决定改哪里、怎么拟合。 此前的做法在反馈累积时反复拟合同一参数子集、沿用同一目标,位置与目标都可能随新误差模式而过时。 在Burgers任务上,动态与固定可编辑位置共享同一提案方式、数值拟合流程和接受规则,可编辑坐标预算固定,相对误差在DeepSeek下由0.040194降至0.016559,在Claude下由0.030975降至0.016195。
每一轮把模型结构、已返回观测的误差统计和编辑历史交给提案策略,生成一份可执行的编辑方案。 方案由两部分组成:可编辑的原生坐标集合,以及规定样本权重、损失、正则、参考保持和补丁尺度的拟合配置。 数值求解器据此拟合权重补丁,内部交叉验证在实验分组或时间折上评估候选,只有满足交叉验证改进阈值和累积反馈损失变化阈值的候选才会部署,否则保留原权重。
同一批坐标下,拟合规则本身就能改变补丁方向。 DIODE反馈显示系统性深度高估,据此把权重压向正残差。 在相同的33个可编辑坐标、平滑MAE、0.01岭系数和零保持惩罚下,均匀加权得到0.894701,正残差加权得到0.775221,内部交叉验证AbsRel下降13.35%;反转残差强调后误差升至1.437018。
启示与展望
演示范围是22个科学任务,每个任务使用各自的预训练模型、指标和反馈流,DeepSeek与Claude分别评估;方法在同一反馈条件下与Base、Adam、Memory、Calib等基线比较,并在Burgers与QP上做同预算的位置对照。
各任务结果并不一致,例如ESOL在DeepSeek下RMSE相对最强反馈基线下降,在Claude下则上升;部分任务上HypoLoop家族成员不如基线。表1中部分相对变化数值在正文中未给出,正文对Burgers重分配的描述也只给出两个服务下的误差数值。
