跳到主要内容
检索

# 人工评估

4 篇关联报道

订阅更新
  1. arXiv

    十个前沿模型各自训练语言模型:六天造出可用助手,最强一个追平英伟达官方后训练版

    RSI Arena 把语言模型的后训练交给十个前沿模型自主完成:每个智能体从同一个 300 亿参数基座出发,在六天、1000 GPU 小时预算内自选数据、自写训练代码并提名检查点。十个智能体都产出了可用助手,其中 GPT-6 Astra 训练的模型在 12 项能力基准上中位数追平基座到 NVIDIA Instruct 差距的 76%;在控制回答长度与格式后,其人类偏好评分与 NVIDIA Instruct 持平(1095 对 1094)。第二阶段把各自模型的盲测对战记录交回智能体,十个模型中有八个相对 NVIDIA Instruct 的风格校正评分改善,但基准提升有限,且与偏好提升没有明显关联。

  2. 20位音乐领域专家400条评分显示:LLM评审与人类判断仅中等相关(最高r=0.55),但已远超BLEU、ROUGE-L等参考基线

    该研究首次通过用户研究检验LLM-as-a-judge在对话式音乐推荐(CRS)回复评估中的可靠性:从TalkPlayData-Challenge采样20个多轮会话,用四个指令微调LLM生成候选回复,由20位音乐领域专家在Personalization Quality与Explanation Quality两个维度上给出n=400条评分,经10,000次bootstrap相关分析发现LLM评审与人类判断呈中等正相关(最高Gemini-3.1Pro在个性化维度r=0.55),并优于所有参考基线指标。

  3. 面向本地 Whisper 医疗转写后处理的嵌入评估与基准测试框架

    该研究提出一个无需参考摘要的评估框架,将嵌入层面的转写-摘要语义相似度、重复生成稳定性分析与结构化人工评估相结合,用于对本地 Whisper 系统产出的临床转写进行 LLM 后处理模型的基准测试,并在 26 段德语医患对话上由四个 LLM 生成 416 份摘要进行验证,发现 GPT-OSS-120B 与 MedGemma-27B 在多数嵌入模型下取得最高相似度、重复运行余弦相似度通常超过 0.90,且嵌入相似度信号与人工质量判断仅部分一致。

  4. 发表出处待核验

    信息满足度:以读者为中心的摘要评估新维度

    本文提出以“信息满足度”(查询加读者画像)作为摘要评估的新维度,通过五类扰动测试与一项专家人工评估发现,ROUGE、BERTScore 等传统指标以及 Llama-3.3-70B、Prometheus-7B 等 LLM 评判指标大多无法通过基本扰动检验,且与读者偏好的一致性接近随机水平,说明现有指标不足以衡量摘要对特定读者的信息满足度。

已读完全部报道