跳到主要内容
检索

# CoBe反事实文本编辑基准

1 篇关联报道

订阅更新
  1. arXiv

    反事实改写有了专门考场:九个模型平均最高仅61.34%,前沿系统均分58.05%

    哥伦比亚大学因果人工智能实验室发布 CoBe,一个面向对话式反事实文本编辑的基准,要求模型在只给出日常语言提问、不提供因果图或编辑步骤的情况下,保留与假设改动无关的事实、只改写其因果下游后果。基准含2000道题,覆盖医疗、科研、工程、商业与日常场景;九个被测模型中最高准确率为61.34%,前沿系统平均58.05%。作者指出模型常退化为关联式生成,且表现不随模型规模或输出长度稳定提升。

已读完全部报道