跳到主要内容
返回时间线
arXiv来源发表:

反事实改写有了专门考场:九个模型平均最高仅61.34%,前沿系统均分58.05%

核心概要

哥伦比亚大学因果人工智能实验室发布 CoBe,一个面向对话式反事实文本编辑的基准,要求模型在只给出日常语言提问、不提供因果图或编辑步骤的情况下,保留与假设改动无关的事实、只改写其因果下游后果。基准含2000道题,覆盖医疗、科研、工程、商业与日常场景;九个被测模型中最高准确率为61.34%,前沿系统平均58.05%。作者指出模型常退化为关联式生成,且表现不随模型规模或输出长度稳定提升。

Source-provided article image: CoBe: A Benchmark For Conversational Counterfactual Text Editing
arXiv

深度剖析

语言模型被要求做一种此前没有被单独测量的文本改写:给定一段叙事和一个用虚拟语气提出的假设改动,模型要判断哪些事实不受该改动影响而必须原样保留,哪些后果需要随之改写。 此前的反事实文本数据集没有清楚区分反事实改写与关联式生成,后者只是按统计相关性生成与改动条件相配的文本,可能连背景事实一起改掉。 CoBe 用专家核验的评判标准检查改写是否保留应不变的事实、是否改动应变的后果、因果连接词是否一致,三项全过才算正确;LLM 评判与三位人类专家的 Cohen's κ 为 0.812。

做法是把反事实推理拆成可判定的三条检查,而不是与某个参考答案比对。 基于 BLEU、ROUGE 等相似度的评分并不直接检验哪些事实在干预下应保持不变或应改变,而 CoBe 允许措辞不同、结局不同的多种合法改写。 2000 道题由 106 个核心样例经 LLM 扩增出每个 25 个变体、再从 2650 个候选中筛除 650 个得到,每题配三条不同措辞的提问并取平均分。

被测模型普遍把相关关系当成因果关系,最常犯的错是改动了本不该动的非下游事实。 不改下游变量和用错连接词这两类错误相对更少,说明失败集中在判断哪些事实与假设改动无关。 九个模型在三种提问措辞下得分差异可忽略;给前沿模型更强的对话提示平均只提升约5%,加入一句显式保留与更新说明只提升约3%。

启示与展望

该基准只测叙事文本上的对话式反事实编辑,作者明确说明通过它不等于具备一般反事实推理能力;评测覆盖九个模型、每题三种提问措辞,作者提出把基准扩展到视觉等领域的后续方向。

评判实现中“应改事实”一项接受删除该事实,因此不完整的改写可能靠省略通过检查;作者称人工抽查未发现系统性利用这一捷径,也不声称标准能抵御刻意规避。作者还指出样本筛选可能存在作者偏差,并以领域与提问措辞的多样性及独立人工质检来应对。