真实碎片也能拼出谣言:14个模型里12个对未获证据支持的传闻接受率超过65%
核心概要
语言模型智能体在社交媒体式信息流中会自行补全真实帖子之间缺失的关系,并把补出的关系当作既定事实。研究用Generative Montage让Writer、Editor、Director三个角色把真实碎片编排成指向特定传闻的叙事,在CoPHEME六个事件的1,090个传闻目标上,14个受测模型中有12个整体接受率超过65%,专有模型平均74.4%、开放权重模型平均70.3%。多数投票和语言模型评审后接受率仍高于50%,而检查单条帖子是否直接支持结论的Grounded Monitor在四个模型上把判定准确率提高5.6至29.0个百分点。
深度剖析
即使每条帖子都真实,语言模型智能体仍会接受没有任何单条证据确立的传闻,因为它把自己推断出的关系当成了信息流已经给出的事实。 此前判断一条流传叙事是否可靠,通常先核对其中每条碎片是否属实;而真实陈述经过挑选和排列同样可以误导,这一路径在人类传播研究中被称为paltering。 在CoPHEME六个公开事件的1,090个传闻目标上,14个受测模型全部出现这种无支撑接受,其中12个模型整体攻击成功率超过65%,专有模型平均74.4%,开放权重模型平均70.3%。
这种错误不会因为多智能体复核而消失,五个分析者一致同意或由一个评审智能体通读原始信息流,仍有过半传闻被接受。 多数投票和语言模型评审本是聚合多个判断、纠正个体错误的常见做法,前提是各方的同意来自彼此独立的证据。 多数投票下传闻接受率维持在59.6%至75.0%,加入可查看原始信息流和五份报告的DeepSeek-R1-14B评审后仍为57.7%至69.5%,在每个受测模型组都超过一半。
把叙事拆成单条帖子分别测量,可以定位真正左右判断的碎片;删掉影响最大的那条帖子比随机删一条更能削弱对传闻的相信。 只看整条信息流给出的接受概率,会掩盖各条帖子影响力差异很大的情况,两条信息流可能整体信念相近而内部构成完全不同。 在223条攻击信息流、37个目标上,删除影响最大的帖子使最终判定由接受翻转为不接受的比例平均为15.5%,随机删除为4.8%;但把同一条帖子移植到普通报道中,跨模型平均信念变化并不一致地增强。
Grounded Monitor在智能体判定目标之前检查是否存在单条帖子直接支持该结论,并把这一评估告知智能体,从而改善接受决策。 此前的防线要么核对单条陈述的真假,要么依赖智能体之间的同意,都没有区分叙事在推动一个结论与证据在确立这个结论。 在158个传闻目标和80个非传闻对照上,四个模型在原始实体设置下准确率提高11.2至29.0个百分点,在实体替换为虚构名称并重新生成信息流的设置下提高5.6至13.7个百分点,信息流本身保持不变。
启示与展望
评估在模拟社交媒体环境中进行,受害者智能体扮演为用户汇总公开事件信息的个人分析者,攻击叙事由GPT-4.1-mini扮演Writer、Editor和Director生成,证据来自CoPHEME整理的六个Twitter公开事件。监测评估使用158个传闻目标和80个非传闻对照,并在原始实体与替换为虚构实体两种设置下分别测试。
Grounded Monitor目前只检查单条帖子是否直接支持目标,对于需要多条碎片联合才能确立的结论,这一判据覆盖不足;在推断型非传闻对照中,检测到直接支持的比例为25.0%,低于原子型对照的40.3%。实体替换后重新生成的信息流本身也发生了变化,因此原始与匿名两种设置之间的准确率差异同时反映了叙事内容的不同。
