跳到主要内容
返回时间线
arXiv来源发表:

空调数字孪生不再只看能否跑通:八款大模型里七款能建能收敛,物理等价却只有50.0%到98.6%

核心概要

面向由大语言模型从自然语言描述写出的暖通空调数字孪生拓扑规格,一项四级可执行验证协议把评判从“能否解析、能否建成、能否收敛”推进到“收敛状态是否与隐藏参考模型一致”。在八款大模型与十四种拓扑上,七款模型在98.6%到100%的试验中建成模型、至少80.0%收敛,但行为等价只达到50.0%到98.6%;约一半失败试验其实收敛了,只是收敛到与参考不同的稳态,且多集中在转轮除湿系统。

Source-provided article image: A four-level executable validation protocol for evaluating LLM-generated topology specifications of physics-based HVAC digital twins
arXiv

深度剖析

评判大语言模型写出的暖通空调数字孪生规格,现在要一直走到“物理上对不对”这一关,而不只是看文件能否解析、模型能否建成、仿真能否跑完。 此前的评估大多止于解析成功、条目自洽、仿真完成或与参考文本相似,无法拒绝一个在仿真中收敛但物理上错误的模型。 在八款模型、十四种拓扑、每对五次重复共560个评估单元上,七款模型建成率为98.6%到100%、收敛率至少80.0%,而行为等价率只有50.0%到98.6%,说明前几级几乎分不开模型。

协议把每份规格依次送进静态有效性、模型构建、仿真收敛、行为等价四级,按达到的最高一级计分。 行为等价一级把生成模型与一份从未展示给模型的参考模型在监测节点上比较干球温度、露点温度和流量,容差带由参考模型尺寸参数正负20%扰动后仍通过收敛检查的变体包络确定。 十四种拓扑覆盖常规新风处理、回风运行、多区调节与转轮除湿,其中五种描述一座低湿试验舱;失败时该级错误信息原样返回,最多三轮修复。

失败集中在转轮除湿这类最难建模的物理上,而不是文本格式上。 188个未达行为等价的单元中,93个是建成并收敛但稳态偏离参考的“差一点”,其中69个在再生排风温度、65个在送风露点上越界。 五种无转轮运行的拓扑中200个单元有169个达到行为等价,九种转轮运行拓扑中360个单元只有203个达到;排除三种再生加热器尺寸歧义拓扑后,三款通过率最高的模型在其余六种转轮拓扑上分别达到100%、100%和96.7%。

启示与展望

演示范围限于暖通空调一个领域、十四种拓扑和一套固定提示组装,行为等价是相对参考模型而非实测数据;参考模型由同一组件库搭建,其中五种拓扑对应此前用实测验证过的低湿试验舱。人类工程师对照覆盖十四种拓扑中的六种、四位作者,作者来源比较只在这一规模上成立。

输出预算与修复轮数对所有模型固定为16384个token与三轮,93个“差一点”单元中有73个含被输出上限截断的尝试,更大预算或更多修复能否把它们带到行为等价尚未测试。通过率66.4%会随计分口径变化:去掉拓扑4至6为75.0%,把尺寸指南例外导致的“差一点”计为通过为73.4%,把改动描述中运行值的通过计为失败为64.1%;容差带宽度减半或增加一半时分别为58.0%和68.6%,但通过率最高的三款模型排序不变。结果对应表中列出的模型版本,会随模型更新而变化。