反事实改写有了专门考场:九个模型平均最高仅61.34%,前沿系统均分58.05%
哥伦比亚大学因果人工智能实验室发布 CoBe,一个面向对话式反事实文本编辑的基准,要求模型在只给出日常语言提问、不提供因果图或编辑步骤的情况下,保留与假设改动无关的事实、只改写其因果下游后果。基准含2000道题,覆盖医疗、科研、工程、商业与日常场景;九个被测模型中最高准确率为61.34%,前沿系统平均58.05%。作者指出模型常退化为关联式生成,且表现不随模型规模或输出长度稳定提升。
哥伦比亚大学因果人工智能实验室发布 CoBe,一个面向对话式反事实文本编辑的基准,要求模型在只给出日常语言提问、不提供因果图或编辑步骤的情况下,保留与假设改动无关的事实、只改写其因果下游后果。基准含2000道题,覆盖医疗、科研、工程、商业与日常场景;九个被测模型中最高准确率为61.34%,前沿系统平均58.05%。作者指出模型常退化为关联式生成,且表现不随模型规模或输出长度稳定提升。
已读完全部报道