跳到主要内容
检索

# 摘要评估

2 篇关联报道

订阅更新
  1. researchsquare.com

    摘要评分不再只给一个总分:EViSE一次编码同时给出忠实、连贯、相关三项,News测试总体ρ达0.806

    EViSE把摘要评估拆成忠实、连贯、相关三项,用一次非自回归编码同时给出三个分数,训练时把分数回归与同一来源内候选摘要的排序约束合在一起。在8万余条人工复核的越南语文档—摘要样本上,EViSE-mmBERT在留出News测试集上的总体Spearman相关为0.806,紧凑版EViSE-ViDeBERTa为0.737;同一架构下加入排序项后,三项Spearman比只用回归提高0.045至0.061。

  2. 发表出处待核验

    信息满足度:以读者为中心的摘要评估新维度

    本文提出以“信息满足度”(查询加读者画像)作为摘要评估的新维度,通过五类扰动测试与一项专家人工评估发现,ROUGE、BERTScore 等传统指标以及 Llama-3.3-70B、Prometheus-7B 等 LLM 评判指标大多无法通过基本扰动检验,且与读者偏好的一致性接近随机水平,说明现有指标不足以衡量摘要对特定读者的信息满足度。

已读完全部报道