同一组抑郁线索拆进21轮对话:四个模型达标率从26–59%跌到3–6%
核心概要
同一组心理健康线索,一次性放在一条消息里还是分散到21轮日常对话中,会让AI助手的守护表现出现明显落差。三位社区心理健康支持工作者为九个场景设定了应答标准,在超过7400段对话中,GPT-5.5、Grok 4.3、DeepSeek V4和Llama 4 Maverick在线索集中时达标率为26–59%,分散后只剩3–6%;Claude Sonnet 5与Claude Opus 5的落差较小,分散时仍为59–87%。
深度剖析
同一组线索分散到多轮对话后,六个被测模型的守护应答都变弱,其中四个模型的达标率从集中时的26–59%降到分散时的3–6%。 此前的安全评测多把痛苦信号清楚地放在单条消息里,很少保持披露内容不变、只改变披露方式。 在超过7400段对话中,GPT-5.5、Grok 4.3、DeepSeek V4和Llama 4 Maverick在集中条件下达标率为26–59%,分散条件下为3–6%;Claude Sonnet 5和Claude Opus 5分别为68–97%和59–87%。
实验用同一段21轮日常对话承载抑郁、精神病性症状或家庭暴力的线索,只改变线索出现的位置。 每条线索单独看都不构成危机,合在一起才值得关注,因此模型需要在日常任务中自行判断是否该处理这些信号。 九个场景各含五条线索,集中条件下五条一起附在第21轮,分散条件下分别附在第1、6、11、16和21轮,另设无线索的对照条件;每个条件重复30次或100次。
模型回复由大语言模型裁判按支持工作者定义的五级量表分级,从无回应到安全优先。 量表把“温和提示求助”和“暂停任务先处理安全”区分开,因此能看出回复是否只是顺带安慰。 第一作者在80条分层抽样的回复上盲评,与裁判的二次加权kappa为0.93;两位支持工作者在18个判断中有15个一致,分歧时取较低预期作为标准。
启示与展望
结论来自通过API调用的六个模型,关闭推理、不设系统提示、单一温度,用户一侧为脚本化消息,对话为21轮英文文本。
实际部署的助手会附加系统提示、安全分类器和记忆,可能改变模型表现;评分量表只衡量守护强度,不衡量语气与质量;脚本化用户无法回应模型提问;真实对话可能延续数千轮,分散效应如何随长度变化尚未显示。
