SIGA给现成编程智能体加一层模拟器适配器:GEOS难任务TreeSim从0.720升到0.789,跨运行波动缩小约16倍
核心概要
科学模拟器的输入卡配置长期是领域科学家的时间瓶颈,需要把建模意图翻译成满足词汇、跨文件引用和校验规则的合法文件。SIGA不改动底层模型和智能体循环,只在上下文、工具和终止三个接口上补上模拟器契约:检索、常驻程序性记忆、可调用的校验器,以及由校验把关的停止钩子。在GEOS多物理场地下模拟器的较难留出任务上,完整自演化适配器把TreeSim均值从0.720提高到0.789,并把跨运行标准差缩小约16倍,主要来自阻止空或非法输入卡。
深度剖析
配置科学模拟器不再需要从零搭建专用智能体,而是在现成编程智能体外面套一层轻量适配器,把模拟器的可执行契约补给它。 此前的模拟器智能体多从零编写规划、工具调用、重试和终止逻辑;而现成编程智能体已经会浏览文件、编辑代码、运行命令并修复输出,缺的只是模拟器特有的词汇、结构规则、校验流程和完成条件。 在GEOS多物理场地下模拟器的较难留出任务上,完整自演化适配器把TreeSim均值从0.720提高到0.789,并把跨运行标准差缩小约16倍,主要靠阻止空或不可解析的输入卡。
适配器只改编程智能体框架的三个接口,模型和智能体循环保持冻结。 检索以语义搜索接入GEOS文档、XSD模式和示例文件,弥补关键词搜索在不知道正确术语时的脆弱;程序性记忆是一份775个token的速查表,经系统提示常驻注入。 同一个XML模式校验以两种形式出现:智能体可随时调用的校验工具,以及每次尝试结束时的停止钩子,后者在输入卡为空、不可解析或不符合模式时返回结构化修复反馈;启用时每个任务平均约调用三次校验工具。
适配器内容本身可以离线自演化,由编程智能体读取此前的轨迹和得分来改写适配器文本,而不触碰底层智能体。 手写适配器把内容固定下来,自演化版本则在留出的验证选择集上搜索更好的任务导语、速查表和辅助技能。 在GEOS留出任务上,只替换自演化导语和速查表的SE-prose达到0.775,完整自演化适配器SE达到0.789,而裸智能体为0.720。
启示与展望
已展示的范围是GEOS多物理场地下模拟器的输入卡编写,外加OpenFOAM的30任务和LAMMPS的9任务迁移研究;读者对象是需要为科学模拟器写配置的研究人员和工程师。TreeSim衡量的是结构相似度而非物理正确性,0.8分的输入卡不保证能运行。
GEOS主结果基于deepseek-v4-flash的三次运行,跨模型面板为单次运行;迁移研究也是单次运行,OpenFOAM使用文件文本与覆盖率指标,LAMMPS由非确定性LLM评判打分。留出任务上的提升集中在两个任务,人类基线是单一任务上的两名参与者。自主性研究中智能体可咨询的“人类监督者”实际是另一个语言模型模拟的用户。
