科学智能体不再只判真假:把假设换成互斥解释集,同预算下解出问题多67%
核心概要
科学发现智能体通常只检验单个假设,证据否定它时,智能体知道这条解释不太可能,却不知道哪条替代解释更受支持。Contrastive Discovery 把每一步发现改为围绕同一科学问题的一组互斥且穷尽的竞争解释,用证据在这组解释间重新分配信念的程度打分。在材料、天文、房贷歧视、网络讨论、软件工程实践和社会行为六个数据集上,以对比集引导搜索时,同等实验预算下解出的问题比逐点惊奇度基线多67%;38位专家的盲评在78%的已解问题上选择了同一解释。
深度剖析
科学发现智能体衡量进展的单位从单个假设换成一组针对同一问题的竞争解释,被否定的证据因此可以指向某条具体替代解释,而不只是宣告原假设不成立。 逐点做法只把假设与其否定作比较,证据否定假设后,智能体无法判断替代解释是哪一个,只能再花实验预算逐个提出和检验。 在六类数据集上,逐点惊奇度排名最高的候选中有89%是被否定的假设;用同一批证据改按对比集重新评估,其中73%被解到一条具体替代解释,且没有运行新实验。
把对比集放进搜索循环后,智能体在相同实验预算下解出更多科学问题,增益几乎全部来自证据把支持从前置领先解释转向另一条解释的纠正性解出。 逐点基线按惊奇度、新颖性或可行性排序,三者解出的问题数彼此接近,说明瓶颈在表示单位而不在打分函数。 在200次实验验证的预算下,对比集平均解出161.9个问题,逐点惊奇度为97.2个,多67%;只计确认性解出时对比集为82.2个,低于逐点的97.2个。
增益主要来自把证据放到完整对比集上评估,而不是来自新的排序规则或联合打分方式。 消融把排序、评估和对比集构建时机分开:只用逐点评估的变体解出率最高为0.22,改用对比评估后升到0.77至0.96。 保留对比集但用逐点打分器逐个评分,解出157.8个问题,联合打分为161.9个,两者在89.3%的集合上选出同一领先解释;在等token和等美元成本下,对比集仍分别以148.3对87.7、145.8对92.2领先。
启示与展望
实验限定在表格型观测数据上,覆盖材料、天文、房贷、网络讨论、软件工程与社会行为六个数据集,基础智能体为gpt-4o骨干的AutoDiscovery脚手架;在这种数据上,解出是统计结论而非因果结论。
解出数由LLM诱导的信念决定,因此依赖诱导模型;对比集可能构造不当或遗漏合理解释,加入“以上都不匹配”弃权项后错误解出从53.4%降到0.6%;作者把增益能否迁移到其他发现智能体、实验室实验和更长周期的干预留作后续工作。
