MedPhysBench把医学物理手算与查错搬上考场:四个模型计算近满分,同一模型却会放过自己算过的修正
核心概要
MedPhysBench把医学物理的手算题和替同事查错做成可自动判分的基准:十个带种子的生成器覆盖放疗、诊断影像、核医学与辐射防护,参考答案由实现相应协议的代码算出,判分只做单位换算和容差比较。在1200道留出测试题上,12个模型的计算正确率为33.3%到100.0%,其中四个达到99.3%以上;五个模型在两种查错格式下都识别出至少96.7%的植入错误、误报不超过4%。同一模型算得对、查得错的情况也被记录下来,说明计算能力与查错能力需要分开评估。
深度剖析
医学物理计算有了按协议代码判分的基准,模型要交出带单位的数值,而不是选一个字母。 此前的评估多用考试选择题,或由物理师给开放式回答打分;选择题判的是选项,而物理师工作的产物是一个带单位的数,或是对同事那个数的判断。 在1200道留出测试题上,12个模型的计算正确率落在33.3%到100.0%之间,其中GPT-6 Astra、GPT-6.1 Sol、Gemini 4 Argon和Claude Opus 5.5四个模型达到99.3%以上,两两之间的精确McNemar检验在Holm校正后未能把它们分开。
基准还把同一组输入变成两种查错题:看同事的完整演算步骤,或只看同事的最终结果。 两种格式对应临床上两种复核方式,一种是逐步审阅,另一种是重算一遍再比对;此前没有研究同时测量这两种方式下模型的表现差异。 五个模型在两种格式下都识别出至少96.7%的植入错误、误报不超过4%;其余七个模型中有四个在只看结果时误报显著上升,gpt-oss-20b对正确结果的误报从5.3%升到38.7%。
计算与查错会脱节:模型自己算得对,却可能接受一份漏掉同一修正的同事作业。 测试集只在一道题里植入了等中心平方反比修正遗漏,看到这道结果检查的10个模型中有4个漏检:Claude Opus 5.5、Claude Sonnet 5.5和gpt-oss-120b接受了错误结果,Mistral Large 3未给出判定。 在事后设计的定向测试中,20组公开参数各出五道题,三个处于上限的模型在全部20份植入作业中指出了缺失的修正;GPT-6 Luna在自己20次计算中有17次用了该修正,却仍接受了16份漏掉它的作业。
启示与展望
题目为纯文本,所有输入随题给出,数据表由生成器产生而非取自真实设备;协议采用北美体系(TG-51而非IAEA实践准则,屏蔽采用NCRP报告),形式为表1所列的手算形式。查错只覆盖十个生成器中的五个,每题至多一个植入错误,且不植入输入数据本身的错误;定向测试只覆盖一个计算中的一种错误。
作者在测试运行之后通读NCRP Report 151,发现三级屏蔽题在两点上与报告不一致或留有未说明的因子,因此有四个被判错的答案其实是遵循了报告;版本1.1将修正这些题目。每个模型对每题只作答一次,五个较便宜模型隔日重跑时计算正确率下降1.0到3.5个百分点,单次得分可能在几次运行间浮动。作者还说明,生成器、第二套实现与分析代码由同一个AI编程助手依据同一份规格写出,因此二者一致只说明代码符合规格,不说明规格符合协议文件。
