闭环STEM导航改用类型化决策:单次决策0.13–0.21秒,W掺杂剂任务成功率66–91%
核心概要
闭环扫描透射电子显微镜(STEM)要让每张图像决定下一步视场和放大倍数,决策环节必须又快又准。研究在单层二硫化钼的模拟原子分辨图像上,用同一初始条件比较四种视觉语言模型与三种决策方式;类型化决策直接从预训练模型读出候选标签概率,不生成文本,对全部模型都把单次决策压到0.13–0.21秒,并在W掺杂剂导航中对全部模型取得最高成功率66–91%。
深度剖析
闭环STEM导航的决策环节可以不再逐字生成文本,而是直接从预训练视觉语言模型读出候选标签的概率,再按固定规则转成移动视场或改变放大倍数的操作。 此前的自主电镜系统需要为每个任务预先定义目标,要么用标注图像训练模型,要么手工设计一个待最大化的量,换一个目标就要重新准备数据或重新设计。 在单层二硫化钼的模拟原子分辨STEM图像上,W掺杂剂与晶界两个任务、四种视觉语言模型、三种决策方式都从相同初始条件出发,各跑100个回合;类型化决策对全部模型都把单次决策时间控制在0.13–0.21秒。
做法是把决策变成一次前向打分:模型对左、右、上、下、inside、none六个候选标签各给出概率,取归一化后最高的一个,再由固定导航策略换算成操作。 对照的两种文本生成方式中,结构化输出让模型在受限格式里生成标签,推理加结构化输出则先生成一段显式推理再给标签。 结构化输出与推理加结构化输出的单次决策时间分别是类型化决策的1.3–3.1倍和21–397倍;在W掺杂剂任务中类型化决策对全部模型成功率最高,为66–91%,在晶界任务中对表现最好的Cosmos-Reason2 32B成功率最高,为43%。
同一套标签和导航规则不依赖具体目标,换目标只需改自然语言描述,不必为每个目标单独训练模型。 此前系统换目标要重新标注训练或重新设计目标函数,而这里同一个模型既导航到W掺杂剂也导航到晶界。 在晶界任务中,把描述换成改写版或只给名称,成功率分别为59%和62%,都高于参考描述的43%;去掉描述后W掺杂剂降到49%,晶界几乎为零。
启示与展望
评估在模拟环境中完成,目标是单层二硫化钼中的W掺杂剂和晶界两类缺陷,图像为无噪声或加泊松噪声的模拟HAADF-STEM图;真实显微镜上的样品漂移、仪器响应延迟和束损伤未纳入考察。
晶界任务的成功率整体低于W掺杂剂,且对噪声和描述措辞更敏感:无噪声时43%,低噪声降到10%,高噪声降到2%;类型化决策的主要失败是漏检(36%)和达到步数上限(19%),减少漏检仍是待解决的问题。
