智能体评测新研究:把智能体当作可配置系统,约54%结果方差来自同一配置的重复运行
该研究提出一个包含四项科学任务的新基准,要求编码智能体找到并正确操作已发表的专用模型,并系统考察任务信息、推理、自我验证、时间预算与骨干模型五个配置维度;结果显示约54%的结果方差来自同一配置的重复运行,任务信息的影响超过时间预算与模型规模,且能降低成本、改善校准,而提示智能体自我验证几乎不改变其验证行为,提供专用验证工具则显著改变该行为。
该研究提出一个包含四项科学任务的新基准,要求编码智能体找到并正确操作已发表的专用模型,并系统考察任务信息、推理、自我验证、时间预算与骨干模型五个配置维度;结果显示约54%的结果方差来自同一配置的重复运行,任务信息的影响超过时间预算与模型规模,且能降低成本、改善校准,而提示智能体自我验证几乎不改变其验证行为,提供专用验证工具则显著改变该行为。
已读完全部报道