跳到主要内容
检索

# 大模型作为评判者

39 篇关联报道

订阅更新
  1. arXiv

    智能体训练数据不再全靠专家示范:JudgeMix按步评判,AppWorld上pass@1最高提升8点

    用专家轨迹做监督微调训练AI智能体,训练数据与目标模型推理时的状态分布不一致,模型一旦偏离理想轨迹就容易失败。JudgeMix在每一步用评判器判断目标模型提出的动作是否语义正确,只在模型出错时让专家接管,并按评判结果调整专家监督的权重。在AppWorld与AutomationBench两个工具调用基准上,JudgeMix对Qwen3.5-2B和Qwen3.5-9B两个目标模型都取得最高pass@1,相对纯专家示范最高提升8点和10点。

  2. arXiv

    独立LLM评审给PET解聚文献建库:3942条记录67.5%原样通过,修正集中在催化剂与溶剂质量

    均相催化PET解聚的实验数据散落在正文、表格和补充材料里,人工整理难以规模化。这套流程让抽取模型为每条记录标注来源文本块的唯一标识,再由一个独立的LLM评审对照原文逐字段核查并给出带引用的修正建议。在295条人工整理的离子液体PET糖酵解实验上,评审与人工判断的一致率为85.7%;在561篇论文抽出的3942条记录上,67.5%被原样接受,修正集中在催化剂与溶剂质量等定量字段。

  3. arXiv

    4B 多模态模型同时读懂和生成手机界面:细粒度感知监督让生成分升到 4.92

    UI-UG 2 是一个 4B 参数的多模态大模型,把手机界面的理解与生成放进同一套训练流程。它用对齐前端组件语义的 80 类两级分类体系标注来自 RICO、VINS、Android in the Wild 和 Android Control 的 3 万余张截图,并配合 5000 余条需求—截图—JSON 三元组。生成端改为在线渲染感知的 GRPO:采样出的 DSL 先由 Playwright 服务端渲染,再用 LLM 评判与对比偏好排序打分。在自建的 80 类基准上,它的指代与稠密定位结果在受评模型中最好,生成综合分 4.92 为对比模型最高。

  4. arXiv

    评委池里强弱混杂也能聚合:AGORA用题目反应理论学信任权重,样本缩到几百条仍占优

    大模型评审常被用来替代昂贵的人工评估,把多个评审聚合起来是抵消单个评审偏差的常规做法,但评审池里强弱混杂,而用于验证的人工标注集往往只有几百条甚至更少。AGORA把每个条目放在一条潜在质量尺度上,用敏感度参数和有序评分阈值描述每个评审,从而在全部条目上联合学习评审可靠性,且不需要人工标签。在三个基准上,AGORA在大型评估集上与Dawid-Skene持平或更好,且随着集合缩小到几百条,其优势扩大。

  5. arXiv

    记忆送进上下文不等于被用上:MemUse 逐条追踪投递,发现多数条目无关、多数相关条目未被采纳

    MemUse 把评估单位从整条任务结果换成单次记忆投递:在 8,000 条 SWE-bench Verified 智能体轨迹上,三种记忆系统的解决率与无记忆基线相差不超过 0.4 个百分点,但逐条判定显示多数投递条目与任务无关,各系统中 51.3%–79.7% 的相关条目未被智能体采纳,且 23.2% 有有益记忆使用的回合仍然失败。

  6. researchsquare.com

    弱评审的偏好提前可读:训练前探针点名“非洲”,策略最终128条答案全写它

    训练语言模型时常用一个学出来的评审模型代替真值打分,但评审自身的偏好此前只能在训练后从策略行为里看出来。研究者在1B参数模型上按500、2000、8000条标注答案训练了三个评审,并在训练前用单处编辑探针测每个评审对错误答案的加分。对最弱评审的预测是策略会爬向被标记的文本,训练后128条最终回答中有115条变成同一句撒哈拉沙漠加“Answer: Africa”,评审均分从0.20升到0.82;对最强评审预测无可爬之处,该次运行未被利用。

  7. 文学翻译的奖励改由大模型打分:只用原文做强化学习,7B模型在隐喻句上超过QwQ-32B-preview

    文学翻译的强化学习奖励改由大模型按预设标准打分,不再依赖人工偏好标注或成对参考译文。此前DRT系列推理翻译模型靠合成的长思维链与译文做监督微调,R1-T1、MT-R1等强化学习路线则以COMET、CometKiwi等机器翻译指标作奖励。以Qwen2.5-7B为底座,DeepTrans-7B在MetaphorTrans上相对其底座在GEA5、GEA100、GRF上分别提升16.3%、13.8%、9.0%,并在多数指标上优于30B以下的基线。

  8. arXiv

    客服流程生成不再靠重排器:一份可移植技能在132个真实工单上做到99.2%流程等价

    一份不含模型权重、由自然语言操作手册和确定性脚本组成的可移植技能,在132个真实客服工单上生成与人工审核答案流程等价的处置指引,比例达99.2%,证据充分率为83.3%。

  9. cloud.google.com

    Antigravity 模型选择器多出两个 Claude:管理员开通后,同一会话可换模型而不丢工作区

    Google Antigravity 的模型选择器现在加入 Claude Opus 5.5 与 Claude Sonnet 5.5,面向 Google Cloud 客户,由管理员开通后开发者可直接选用。此前 Antigravity 内的可选模型由 Google 自家 Gemini 系列承担,Opus 5.5 面向复杂任务,Sonnet 5.5 定位为更快、成本更低的补充。两个模型覆盖 Antigravity 2.0、命令行工具以及 VS Code、JetBrains IntelliJ 和 Visual Studio 的 IDE 扩展,并可在同一对话线程的轮次之间切换而保留工作区状态、已打开产物和终端上下文。

  10. arXiv

    客服智能体评测不再只看模型:GPT-5.4五评委全胜,评委之间只有中等一致

    企业客服技能执行有了500个真实工单场景的零样本评测,17个模型由五个评委独立打分,GPT-5.4在每个评委下都排第一,而评委之间的通过判定只有中等一致。