跳到主要内容
检索

# 评估-生产行为差距

1 篇关联报道

订阅更新
  1. 智能体安全评测出现反向落差:六个模型在评测中反而比生产环境更不安全

    面向智能体安全的长程任务评测可能低估而非高估模型在真实部署中的安全性。研究比较六个已上线模型在“遵守警告”评测与结构可比的Codex生产决策上的成功率,测得的评测—生产行为落差为10.2至37.4个百分点,且方向是评测成功率更低。落差最大的模型最常把评测目标误判为“抵抗提示注入”,而系统提示中直接写明正确或错误目标,可把同一模型的评测成功率分别推到91.6%和压到17.6%。

已读完全部报道