GPT-5.6-Sol 给固态合成配方排序:隐去化学身份整体只降到 0.72,隐去温度则降到 0.56
核心概要
研究团队用 240 次实测固态合成搭起一个基准,覆盖八种氧化物靶材、每种靶材共用同一套 30 个烧结条件,再让 GPT-5.6-Sol 对同一靶材的两份配方两两比较、判断哪份目标相纯度更高。汇总后它的两两判断准确率为 0.72;隐去全部化学身份后整体准确率从 0.74 降到 0.72,而在六个热学主导的靶材上,隐去化学身份后为 0.68,隐去温度后为 0.56。作者据此把这类模型定位为带有强烈热学偏好的先验,而非理解目标化学的排序器。
深度剖析
大语言模型现在被用来推荐固态合成条件,但此前缺少一套以实测结果为据、能区分“推理”与“记忆”的评测基准。 已发表的合成配方往往没有失败记录、很少报告纯度,也难以判断一份配方是否优于另一份,因此现有评测更多是在衡量重新发现已知路线。 这套基准包含 240 次合成尝试,其中 233 次得到由 X 射线衍射测定的纯度,7 次因样品熔入坩埚、蒸发或丢失而无结果;八种氧化物靶材各跑同一套 30 个条件,其中三种靶材此前没有任何实验报道。
GPT-5.6-Sol 只被要求在同一靶材的两份配方之间选出目标相纯度更高的一份,从不生成配方,也不输出数值。 每一对配方按两种呈现顺序各判一次,以抵消位置偏好;再用带正则化的 Bradley–Terry 模型把成对偏好汇总成该靶材配方库的排序。 在 2,795 对可计分配方对上,两两判断准确率为 0.72;按靶材看,M6 为 0.86,M2 为 0.45,低于随机水平。
排序能力主要来自热学特征,目标化学只起调节作用。 隐去全部化学身份后,整体准确率从 0.74 降到 0.72;而在六个热学主导的靶材上,隐去化学身份后准确率为 0.68,隐去温度后为 0.56。 各靶材的排序准确率与其纯度—峰值温度相关性高度一致,Spearman 相关系数为 +0.91,n = 8,双侧 p = 0.002。
启示与展望
这套基准覆盖八种氧化物靶材、每种 30 个烧结条件,纯度由 X 射线衍射与 Rietveld 精修给出;作者指出靶材整体偏热学主导,结论能否推广到由 precursor 反应性等因素主导的体系需逐案确认。
已知靶材上的排序表现高于未知靶材,但作者说明八种靶材不足以让这一组间差异达到统计显著;作者也指出基准规模仍小,且已知—未知比较同样受此限制。
