跳到主要内容
检索

# 基准构建与评估

14 篇关联报道

订阅更新
  1. researchsquare.com

    坑洞检测高分有多少来自见过的路:按视频重划后,同一检测器AP50从0.619降到0.467

    公开道路缺陷数据集BharatPotHole的发布划分存在训练—测试重叠:38.8%的测试图像在训练集中有近重复,99.4%的测试图像来自训练用过的视频。按视频去重重新划分后,同一YOLO26n检测器在正样本测试图像上的AP50从发布测试集的0.619降到无近重复子集的0.467,配对差0.152(95%置信区间0.090–0.234)。在受控污染试验中,把未见测试图像换成训练帧副本可把视频隔离模型的AP50从0.133抬到0.494,而换成未见帧副本时仍接近0.15。

  2. arXiv

    SkillMorph 用轨迹引导的故障定位演化智能体技能,在 SWE-Skills-Bench 上把 pass3 从 67.96% 提升到 88.37%

    该工作提出 SkillMorph,一种基于轨迹引导故障定位的技能演化方法:它先把原始轨迹抽象为状态转移序列,跨重复执行、演化轮次与任务聚合失败与成功覆盖证据以识别可疑动作,再把可疑动作回溯到可能跨多个技能与文件的编辑位置并生成修订;在 SWE-Skills-Bench 与 CannBot 上,演化后的技能在 pass@3、trial 级准确率与 pass3 上均高于原始技能与四种已有技能演化方法,并在 AI 算子开发团队中产生 6 个被接受的技能修订 PR。

  3. arXiv

    MAPE-K双AI框架让四足机器人用自然语言意图生成可执行代码,有限任务稳健而开放式穷举搜索仍受认知限制

    该工作提出一个受MAPE-K启发的双AI架构,由LLM把高层自然语言意图翻译成受机器人函数库约束的可执行Python代码,VLM通过蒸馏提供开放式语义接地,并以几何与语义阈值触发重规划;在Gazebo四足机器人探索任务上对三个前沿模型基准测试,有限任务成功率高,开放式穷举任务成功率下降,失败集中在语义接地、完整性判断与终止控制而非底层动作执行。

  4. arXiv

    APEX 把间接提示注入防御移到执行边界:六个基准中五个攻击成功率降至 0%,第六个为 0.56%

    该工作提出 APEX,把间接提示注入防御从识别攻击模式转为在执行边界检查每个拟执行效果:执行前把用户授权编译为一份授权契约,WRAP 依据契约与运行时证据只放行可重建授权的效果,PLANT 在契约认可的依赖上放置探针使未被认可的信息使用在提交前自我暴露;在六个基准、13 个基线上,APEX 在五个基准达到 0% 攻击成功率、第六个为 0.56%,并在三类能力单元的三种自适应攻击下保持 0%。

  5. arXiv

    EchoChat 将共情语音对话重构为感知—心智推理—回应三阶段流程,在 EchoEval 上把感知均分从 6.96 提升到 8.23、推理从 6.61 提升到 8.43

    该工作提出 EchoChat,把共情语音对话重构为感知、心智状态推理与回应生成的结构化认知推理流程,配套构建 400K 单轮加 4K 多轮会话的 EchoDialogue-400K 数据集、Acoustic-Anchored Attention 与带 Step-Decomposed Credit Assignment 的阶段感知强化学习目标,并发布 1K 条专家标注的 EchoEval 基准;实验显示其在感知、推理与回应一致性上均优于 12 个对比模型,感知均分 8.23、推理均分 8.43、回应均分 9.26,LLM 评分与人工判断的平均 Spearman 相关为 0.83。

  6. arXiv

    语义熵在GSM8K上以AUROC 0.871识别小模型错误,但合成算术上的同类结果被一个纯正则难度基线完全抵消

    该工作把语义熵用作小模型到大模型升级路由的信号,在三个基准和两个模型家族上测试,发现GSM8K上语义熵能可靠区分小模型错误(AUROC 0.871)并在等成本下比随机升级最多提升九个百分点,而合成算术上看似同样强的结果被一个仅凭题面难度、不含任何模型的正则规则几乎完全匹配;论文据此提出一套检查清单,包括难度基线、三种升级目标、oracle余量预检、逐次生成成本核算,以及一个可在实验前预测检索式捷径是否失效的难度探针,并提前预测了AUROC从0.908跌至0.518。

  7. arXiv

    COSMI用单物体动作捕捉合成22.2万段多物体交互数据,并训练出可生成1至5个物体的扩散模型

    COSMI提出把单物体人-物交互片段按接触一致性切分、镜像平衡左右手、再用语言模型与几何检查筛选可同时发生的组合,从而把单物体捕捉合成为多物体交互数据,得到22.2万段序列、275小时、最多5个物体的数据集(约为最大多物体捕捉数据集的近三十倍);并训练一个文本驱动的扩散Transformer,物体槽位共享权重、物体相对驱动它的身体关节预测,在留出未见物体与五种未见组合的基准上,其文本对齐与接触精度优于HIMO及多物体改造版MDM、PriorMDM,在未见物体上优势最大。

  8. arXiv

    FairRSFM用生物群系分组评测三款遥感基础模型,发现总体指标掩盖了生态区域间的性能落差

    作者提出FairRSFM,把四个遥感下游数据集(m-EuroSAT、m-BigEarthNet、m-SA-Crop-Type、MMEarth20K)的地理坐标样本映射到14类陆地生物群系并归并为六个宏观组,在冻结骨干的统一协议下用三个随机种子评测Prithvi-EO-2.0、SatMAE与DOFA,结果显示总体指标一致地掩盖了生物群系相关的性能差异,例如Prithvi-EO-2.0在m-EuroSAT上总体macro-F1较高而最差组分数明显更低,并比较了BOLP、DBR与GroupDRO三种缓解基线,其效果随模型与任务而异。

  9. arXiv

    CRAFT 用模板感知的反思与局部修复做表格填表,在 FormFillBench 上把配对准确率提升 8.51 与 23.38 个百分点

    作者提出 CRAFT,一个模板感知的智能体表格填表框架:它把反思式校验与受限局部修复相连,先定位可疑区域、必要时恢复被覆盖的模板内容,再用矩形感知槽位定位器(RASG)重新定位可写单元格,并以标签—槽位提示和保护区域约束后续编辑;同时发布含 327 份表单、分 Instruction-Only 与 Multi-File 两条赛道的 FormFillBench,CRAFT 相对最强基线在两条赛道上分别把配对准确率提升 8.51 和 23.38 个百分点,组件移除实验支持结构裁决与槽位重定位的作用,换用第二个骨干模型后仍保持相对优势。

  10. arXiv

    BIRD 统一评测迭代奖励设计:简单设计选择最稳健,ERA-U/ERA-S 在匹配预算下排名前二

    作者提出 BIRD,把 14 个已发表的迭代奖励设计(IRD)方法统一表示为同一循环的配置,在 MuJoCo、Meta-World、Assistax 和 HumanoidBench 上以匹配的反馈条件与策略训练预算比较 6 个已发表方法并消融 30 个设计选择,发现多数设计选择(包括作者自己的提案)效果很小或不确定,而少数简单选择(如贪心保留检查点、摘要化反馈)稳定有效;据此从 RDA 出发做小规模爬山得到 ERA-U 与 ERA-S,二者在 Bradley–Terry 汇总排名中分列第一、第二,但小规模人类评分显示基准分数高并不等于行为自然。