事实核查器只用2%标注:CPIL在11项任务上把宏F1推到81.04,推理仍是一次前向
核心概要
CPIL把少量已标注的文档—陈述样本转成成对关系监督,不再依赖大规模人工或合成语料。它用同一实例的不同回译视图构造正对,用同一文档下标签相反的样本构造负对,并按正对相似度分布筛掉过于像正例的负例。在11项任务的LLM-AggreFact基准上,CPIL-2%和CPIL-3%分别取得81.04和81.60的宏F1,只用到FactCG发布标注池的2%至3%。
深度剖析
紧凑型事实核查器现在可以在只保留FactCG发布标注池2%至3%的条件下训练,推理时仍只做一次编码器—分类器前向。 此前的紧凑检测器如AlignScore、MiniCheck和FactCG通常依赖大量人工标注或合成生成的文档—陈述语料,而LLM评判式方法需要重复推理。 在覆盖11项文档接地任务的LLM-AggreFact基准上,CPIL-2%取得81.04、CPIL-3%取得81.60宏F1,高于所比较的全部紧凑检测器,也高于两个普通LLM参照;CPIL-2%比CCHD高1.31分、比FactCG高3.90分。
监督信号来自样本之间的关系,而不是每个样本单独一个标签。 逐实例分类只能从每个标注样本中提取一个监督目标,而同一批标签可以约束多个视图之间的比较。 去掉成对预训练阶段后宏F1从81.04降到76.81;仅把回译视图追加进训练集只到77.34;随机配对只到77.44,说明增益取决于配对方式而非成对训练本身。
负例按当前表示空间动态挑选,训练中不断刷新。 静态的同文档负例随着编码器变强会变得容易,而只取最相似的负例又可能混入改写漂移或标注歧义。 把动态挖掘换成静态负采样后宏F1降到78.64,比完整CPIL-2%低2.40分;半硬负例比例在0.5至0.8区间取得最强结果。
启示与展望
评测范围是英文的LLM-AggreFact聚合基准,涵盖摘要、对话、陈述核验、长文问答与检索增强生成五类场景,训练标注取自FactCG发布的约16,700条标注池中的2%或3%。作者提出的后续方向是引入蕴含或实体感知的过滤、尝试其他改写器,并扩展到更广的跨领域与多语言评测。
方法假设回译视图保持原有事实性标签,但实体、数量、时间表达或否定的细微改动可能改变文档与陈述的支持关系。作者也指出,标签效率的说法针对的是复用已选事实性标注,不涉及训练时间或总计算量,因为回译视图生成有一次性的额外开销。
